Claude AI di Anthropic può controllare i computer e scrivere codice JavaScript: le nuove funzioni

Anthropic, la startup di intelligenza artificiale fondata nel 2021 dai i fratelli Daniela e Dario Amodei insieme ad altri cinque ex dipendenti di OpenAI, ha recentemente introdotto una funzione dal sapore rivoluzionario che è stata chiamata “Computer Use” e che, per l'appunto, permette di controllare un computer cercando di imitare il comportamento di un utente umano. La funzione in questione è integrata nel modello AI di Claude 3.5 Sonnet ed è capace di controllare un computer quasi come farebbe un essere umano. In che senso? Ora Claude può “vedere” lo schermo tramite screenshot, muovere il cursore, cliccare, digitare testo, e così via, emulando in tutto e per tutto l’interazione di una persona reale con un computer. Per ora, la funzione si trova ancora in una fase sperimentale (tant'è che è disponibile come beta pubblica), ma l’obiettivo di Anthropic è quello di consentire al suo modello di eseguire autonomamente una serie di compiti ripetitivi che oggi richiedono l’intervento umano. Un'altra funzione annunciata da poco è quella di analisi che permette al modello di scrivere ed eseguire codice nel linguaggio JavaScript.

Come fa l’AI Claude 3.5 sonnet a controllare il pc: vantaggi e limiti di “Computer Use”

La capacità di Claude di usare un computer si basa su un sistema di visualizzazione denominato “flipbook”, che cattura e analizza una serie di screenshot per interpretare e rispondere a ciò che compare sullo schermo, senza però sfruttare un flusso video in tempo reale. Questo approccio implica che, per ora, il modello possa perdere occasionalmente brevi azioni o notifiche, poiché la sua visione si basa su immagini statiche prese a intervalli regolari.

L'IA di Anthropic è addestrata a riconoscere posizioni di elementi sullo schermo, come pulsanti e icone, misurando la distanza in pixel per posizionare il cursore in modo preciso e svolgere azioni relativamente complesse in modo del tutto automatico. In merito al funzionamento di “Computer Use”, Anthropic ha spiegato:

Quando uno sviluppatore incarica Claude di usare un software per computer e gli fornisce l'accesso necessario, Claude guarda gli screenshot di ciò che è visibile all'utente, quindi conta quanti pixel in verticale o in orizzontale sono necessari per spostare un cursore per fare clic nel punto corretto. Insegnare a Claude a contare i pixel in modo accurato è stato fondamentale. Senza questa abilità, il modello ha difficoltà a impartire comandi con il mouse, in modo simile a come i modelli spesso hanno difficoltà con domande apparentemente semplici come “quante A ci sono nella parola ‘banana’?”.

Tuttavia, la funzione non è ancora perfetta: molte azioni comuni, come il trascinamento di file o l’uso di scorciatoie da tastiera, non sono ancora supportate pienamente. La stessa azienda a questo proposito avverte che adoperare “Computer Use” può essere «macchinoso e soggetto a errori» aggiungendo che la funzione è stata rilasciata in beta pubblica proprio «per ricevere feedback dagli sviluppatori e ci aspettiamo che la capacità migliori rapidamente nel tempo».

Nella dimostrazione condivisa da Anthropic in un video pubblicato su YouTube (che vi riproponiamo di seguito), si vede Claude 3.5 Sonnet che, sfruttando “Computer Use”, riesce a compilare il modulo di contatto di una data azienda andando a recuperare le informazioni sulla stessa sparse nel disco del Mac usato per il test, riuscendo a completare l'operazione egregiamente. Chiaramente, quanto visto nella demo andrà verificato e confermato dai tester che decideranno di provare in anteprima la funzionalità.

La funzione di Anthropic che controlla i computer è sicura?

L'idea che un'intelligenza artificiale possa controllare in tutto e per tutto un computer, potrebbe destare qualche perplessità riguardo alla questione della sicurezza.

Anthropic ha adottato anche rigidi criteri di sicurezza per limitare l’accesso di Claude a determinati tipi di contenuti. Ad esempio, il modello è programmato per evitare di interagire con social media e contenuti sensibili, come siti governativi o attività legate alle elezioni, per ridurre al minimo i rischi di abuso o manipolazione. Inoltre, sono in atto misure contro possibili attacchi di “prompt injection” – un particolare tipo di attacco informatico in cui istruzioni malevole vengono date da un cybercriminale a un modello AI, costringendolo a eseguire azioni indesiderate che si discostano dall'intento originale dell'utente – oltre che da meccanismi di monitoraggio predisposti per rilevare eventuali usi impropri da parte degli utenti durante questa fase di test.

Nuovo strumento di analisi JavaScript

Oltre alla funzione “Computer Use”, Anthropic ha annunciato anche la possibilità di sfruttare una funzione di analisi per Claude.ai, che permette al modello di scrivere ed eseguire codice JavaScript, in maniera analoga a quanto riesce a fare il Code Interpreter di ChatGPT (che anziché JavaScript utilizza il linguaggio Python). Grazie a questa capacità, Claude ora è in grado di eseguire analisi approfondite sui dati in tempo reale, elaborare informazioni e offrire risultati più precisi. Nel descrivere quest'altra funzionalità, Anthropic si è espressa in questi termini:

Pensa allo strumento di analisi come a un sandbox di codice integrato, in cui Claude può fare calcoli complessi, analizzare dati e ripetere idee diverse prima di condividere una risposta. La capacità di elaborare informazioni ed eseguire codice significa che ottieni risposte più accurate, basandosi sulle competenze di codifica e dati all'avanguardia di Claude 3.5 Sonnet. […] Con lo strumento di analisi, ottieni risposte che non sono solo ben ragionate, ma sono matematicamente precise e riproducibili.

Stando a quanto affermato dall'azienda, questa funzione sarà utile in vari contesti e per diverse figure professionali, tra cui addetti al merketing, ingegneri e team finanziari.

non perderti questo articolo

Anthropic lancia Claude 3.5 Sonnet, l’AI che sfida GPT-4o di OpenAI: cosa sappiamo finora