La maglia che inganna le telecamere AI di riconoscimento facciale: i limiti di “noRecognition”

Una persona può essere perfettamente visibile a occhio nudo e, nello stesso momento, diventare quasi “invisibile” per una telecamera dotata di intelligenza artificiale. È questo l’effetto cercato da Bill Swearingen, esperto americano di sicurezza informatica che ha ideato noRecognition, un progetto che punta a creare motivi stampati su vestiti e oggetti con disegni geometrici capaci, in certi casi, di confondere i sistemi di visione artificiale usati nella videosorveglianza.

Come funziona la tecnologia noRecognition che inganna il riconoscimento facciale

Per capire come sia possibile ingannare un sistema di riconoscimento, però, bisogna partire da un concetto basilare spiegando per sommi capi qual è la differenza tra rilevamento e riconoscimento. Un sistema AI, tramite una telecamera, può innanzitutto cercare di stabilire se nell’immagine c’è una persona o no andando a fare un rilevamento della presenza umana; successivamente può individuare il volto del soggetto rilevato e, solo dopo, confrontarlo con un database per provare a capire di chi si tratta. Il riconoscimento facciale, quindi, è soltanto uno degli anelli di una catena molto molto più lunga.

Durante la conferenza Def Con di Las Vegas, un evento annnuale dedicato agli hacker, Swearingen ha mostrato proprio quanto possa essere efficace ostacolare il primo “anello”. Davanti a una telecamera, il sistema indicava con una probabilità superiore a 0,75 che nell’inquadratura ci fosse una persona. Quando Swearingen ha sollevato davanti al corpo un pannello ricoperto da uno strano motivo bianco e nero, il punteggio è progressivamente sceso fino a 0,21. A quel punto il software ha smesso di considerare l’immagine come contenente una persona.

Ma in tutto ciò Swearingen non si era mai mosso affatto dall’inquadratura. Molto semplicemente era riuscito a ingannare il sistema di riconoscimento automatico, che aver perso la sicurezza necessaria per classificare ciò che vedeva come un essere umano. Questi algoritmi, infatti, non “vedono” come vediamo noi: analizzano un’immagine, formulano diverse ipotesi su ciò che contiene, assegnano un punteggio di confidenza e segnalano soltanto quelle che superano una determinata soglia. Se quella soglia non viene raggiunta, il rilevamento difatti non parte.

Come sono stati prodotti trame e pattern che ci rendono invisibili all’AI

Swearingen non ha progettato i motivi anti-rilevamento facciale facendo appello alla sua fantasia, ovviamente. Piuttosto ha messo a punto un sistema automatico che genera questi motivi sfruttando dei software ad hoc. L’approccio usato ricorda quello dei cosiddetti “fuzzer”, quei programmi utilizzati nella sicurezza informatica per sottoporre un software a un’enorme quantità di input e individuare errori e comportamenti anomali. In questo caso, il bersaglio da colpire erano i sistemi di visione artificiale.

Il programma crea uno schema, lo sovrappone digitalmente all’immagine di una persona e prova a capire come reagiscono i vari sistemi AI coinvolti. Se il motivo fa diminuire sensibilmente il punteggio del rilevamento e provoca risultati anomali viene selezionato per ulteriori prove. I modelli più efficaci vengono poi modificati e combinati per generarne di nuovi.

Tenete presente che il sistema è arrivato a confrontare ogni nuovo motivo con 11 modelli differenti: cinque dedicati al rilevamento delle persone, quattro alla ricerca dei volti e due al riconoscimento di questi ultimi. Swearingen ha fatto sapere che fino a giugno erano stati eseguiti 31,7 milioni di test e solo una piccola parte di questi (per darvi un numero, 534.600 circa) aveva prodotto anomalie significative. Di tutti questi, solo 85 risultati erano stati classificati come “estremi”, quindi in grado di sconfiggere almeno un rilevatore di persone e uno di volti nel medesimo test.

I limiti della tecnologia anti-rilevamento

I numeri mostrano comunque dei limiti ancora evidenti in questa tecnologia, che è tutt’altro che infallibile. Anche perché è diventato evidente come un motivo efficace non funziona necessariamente su qualunque persona o volto. Un modello che aveva abbassato il livello di confidenza per quattro persone utilizzate durante lo sviluppo non ha funzionato nemmeno una volta sulle otto “cavie” con cui è stato successivamente testato. Questo perché l’efficacia e la buona riuscita del test può dipendere sia dalla persona sia dal sistema di rilevamento adoperato.

Anche la posizione del motivo conta. È stato riscontrato che una superficie più grande non significa automaticamente ottenere un risultato migliore: gli schemi sul busto hanno avuto maggiore effetto sui rilevatori di persone, mentre quelli vicini alla testa hanno inciso maggiormente sui sistemi di rilevamento dei volti. In alcuni test, addirittura, un piccolo motivo sul colletto si è dimostrato più efficace di una stampa molto più grande sul busto.

C’è poi una differenza fondamentale tra la dimostrazione e una vera maglietta indossata per strada. Il test effettuato alla Def Con è stato effettuato con il motivo su un pannello rigido, non su un tessuto. Una maglietta, piegandosi, allungandosi e formando pieghe mentre viene indossata, viene esposta a distorsioni e cambi di illuminazione continui, che non replicano le condizioni ideali viste durante la dimostrazione. Per questo Swearingen considera ancora non dimostrata l’efficacia dell’indumento indossato.

non perderti questo articolo

Riconoscimento facciale nelle indagini, approvato il decreto AI Act: cosa cambia e quali sono i limiti