ChatGPT può essere manipolato nella selezione del curriculum: lo studio sulla prompt injection nei PDF

Fate finta di dover assumere un nuovo dipendente e di dare in pasto a un chatbot qualsiasi – ad esempio ChatGPT, Claude o Gemini – i PDF dei curriculum che vi sono stati inviati. L’AI li esamina e a un certo punto vi suggerisce che un curriculum in particolare è quello della persona che dovreste assumere. Potreste pensare che questo sia il semplice frutto dell’analisi di un documento. Ma non è detto che sia così. Un PDF può contenere istruzioni invisibili all’occhio umano che un modello AI è comunque in grado di leggere e di esserne influenzato. È proprio questa la vulnerabilità studiata da un gruppo di ricercatori dell'Università di Torino, che ha dimostrato come documenti digitali opportunamente manipolati possano spingere modelli AI a cambiare radicalmente il proprio giudizio.

Alla ricerca lavorano Federico Torrielli, dottorando in AI safety, Stefano Locci, ricercatore di Informatica, insieme ai supervisori Amon Rapp e Luigi Di Caro. Lo studio si concentra sulla cosiddetta prompt injection indiretta, un attacco in cui le istruzioni destinate all'AI non arrivano direttamente dall'utente, ma restano nascoste all'interno di un documento che il modello è chiamato ad analizzare. Il nodo centrale della questione è che i modelli linguistici di grandi dimensioni possono avere difficoltà a distinguere le informazioni da valutare dalle istruzioni che cercano invece di condizionarne il comportamento. I ricercatori torinesi hanno sfruttato proprio questa debolezza, inserendo nei documenti digitali delle stringhe rese invisibili al lettore umano ma perfettamente leggibili dal sistema di AI e hanno scoperto che nel 99% dei casi il modello, invece di valutare il documento secondo i normali criteri di revisione, gli assegnava una valutazione eccellente semplicemente perché era influenzato dalle istruzioni nascoste nel file.

Chatpt, Claude e Gemini manipolate nella selezione del curriculum: la scoperta dei ricercatori

La tecnica che abbiamo appena descritto nelle battute introduttive dell'articolo si presta facilmente a manipolare la selezione del personale. Se si adopera un sistema basato sull’AI per analizzare migliaia di CV e individuare i profili più adatti a una posizione e se un candidato dovesse aver manipolato il proprio curriculum inserendo un'istruzione nascosta pensata per convincere il modello che il suo è il profilo ideale, la frittata è presto fatta. Il recruiter che legge il PDF probabilmente non noterà nulla di sospetto, mentre l'AI, leggendo l’struzione nascosta ne terrebbe conto nella valutazione del candidato.

Se un sistema automatico gestisce la prima selezione delle candidature e si lascia influenzare da simili raggiri, l'ordine dei profili presi in esame e soggetti alla prima fase di scrematura verrebbe falsato e questo andrebbe per forza di cose a condizionare tutte le fasi successive del recruiting.

La vulnerabilità diventa ancora più delicata se l'AI viene usata per analizzare informazioni in contesti dove un errore può avere conseguenze fatali, letteralmente fatali. Pensiamo, ad esempio, a cartelle cliniche e referti medici: istruzioni invisibili inserite nella documentazione potrebbero portare il modello a produrre un'interpretazione alterata dei dati, con il rischio di compromettere anche una valutazione medica.

Una possibile contromisura per l’AI: la filigrana digitale

La ricerca, però, non si è limitata a segnalare il problema e ha proposto anche una possibile soluzione. I ricercatori hanno sperimentato l'inserimento di sequenze di caratteri invisibili all'interno dei testi generati artificialmente, una sorta di filigrana digitale in grado di rivelarne l'origine sintetica e di individuarne eventuali utilizzi o alterazioni successive. Nei test, questa tecnica ha permesso di riconoscere i contenuti artificiali con un tasso di accuratezza piuttosto elevato, compreso tra l'87% e il 97%, il che apre la strada a una soluzione che possa rendere più controllabili i flussi di lavoro basati sull'AI.

non perderti questo articolo

Anthropic applicherà un watermark per identificare i testi generati con Claude: come funziona il sistema C2PA