Un team di ricerca senza scopo di lucro ha trovato più di 350 annunci video contenenti materiale di abusi sessuali su minori in circolazione sulle piattaforme di Meta dalla fine dello scorso anno. Gli annunci non erano nascosti in angoli remoti di internet. Venivano pubblicati su Facebook, Instagram, Messenger, Threads e sulla più ampia rete pubblicitaria di Meta, in alcuni casi accumulando centinaia di visualizzazioni mentre erano in attesa di revisione dopo essere stati segnalati. Questa non è la storia di un exploit marginale. È la storia di ciò che accade quando la moderazione automatica dei contenuti incontra una campagna di abusi determinata e sistematica, e perde.
Come sono stati creati gli annunci e cosa facevano
Lo schema identificato dai ricercatori del Tech Transparency Project è risultato coerente in tutto il gruppo di annunci. La maggior parte iniziava con l’immagine di una preadolescente o di un’adolescente, sovrapposta a un testo che suggeriva come l’immagine potesse essere manipolata senza restrizioni. Nel giro di pochi secondi, il video trasformava il volto della minore in contenuti sessualmente espliciti. Una volta cliccati, gli annunci indirizzavano gli utenti a scaricare applicazioni IA di scambio volto o video dagli app store di Apple e Google.
Questo è ciò che rende il meccanismo particolarmente significativo: gli annunci non si limitavano a distribuire materiale illegale. Funzionavano come un canale commerciale, spingendo al download di applicazioni collegate a quelle che i ricercatori descrivono come app di “nudificazione”, molte delle quali connesse a sviluppatori cinesi. La frase ripetuta in molti annunci, “Questa è l’IA che gli uomini usano davvero”, segnala che il contenuto è stato progettato per normalizzare e commercializzare questi strumenti.
I ricercatori sono riusciti a identificare le identità nel mondo reale di quattro minori le cui immagini sono comparse negli annunci. Tre provenivano dagli Stati Uniti, tra cui due influencer adolescenti dei social media con account pubblici sulle piattaforme di Meta stessa. Una era una modella di foto stock la cui immagine era stata etichettata come raffigurante una preadolescente sui siti di foto stock da cui era stata prelevata. La quarta era una minore appartenente a una famiglia reale europea, la cui fotografia ufficiale è stata trasformata in un video grafico. WIRED ha confermato che l’immagine di origine proveniva dal sito ufficiale di una famiglia reale.
Il divario tra politica e pratica
Le politiche pubblicitarie di Meta stabiliscono che l’azienda esamini tutti gli annunci prima della loro pubblicazione. Gli annunci in questione sono stati pubblicati comunque. In alcuni casi, dopo che i ricercatori hanno segnalato annunci attivi tramite gli strumenti di segnalazione di Meta, ci è voluta una settimana perché l’azienda intervenisse. Durante quella finestra temporale, quegli annunci hanno continuato ad accumulare visualizzazioni.
Quando alla fine Meta ha rimosso alcuni annunci, gli avvisi di rimozione inizialmente non specificavano che il contenuto violava le politiche sugli abusi sessuali sui minori. Quel dettaglio è stato aggiunto solo dopo che WIRED ha chiesto a Meta spiegazioni sulla discrepanza.
Meta aveva precedentemente annunciato nuovi strumenti di IA progettati per rilevare e bloccare meglio gli annunci dannosi. La portata di ciò che i ricercatori hanno scoperto dopo quell’annuncio suggerisce che tali strumenti non abbiano funzionato come previsto. Il portavoce di Meta ha dichiarato che molti degli annunci erano già stati rimossi e che la maggior parte aveva avuto meno di 200 impressioni, con l’azienda che ha ricevuto meno di 5.000 dollari in pagamenti pubblicitari dalla campagna. I ricercatori ribattono che gli annunci sono stati mostrati a più di 29.000 account in tutta l’Unione Europea e a circa 7.000 nel Regno Unito, secondo i dati della libreria pubblicitaria di Meta stessa. Un’ulteriore esposizione significativa si è verificata negli Stati Uniti, in Australia e in India, dove Meta non pubblica dati dettagliati sulle prestazioni.
I risultati arrivano mentre Meta sta pagando fino a 16,7 miliardi di dollari per risolvere cause legali relative a presunti danni ai minori sulle sue piattaforme. L’azienda sta anche facendo appello contro una decisione del tribunale del Nuovo Messico che le imporrebbe di migliorare i suoi processi di segnalazione del materiale di abusi sessuali su minori e di includere la revisione umana.
Cosa rivela questo sulla moderazione IA su larga scala
Ecco cosa la maggior parte della copertura di questa storia sottovaluta: il fallimento non risiede semplicemente nel fatto che i malintenzionati abbiano trovato una scappatoia. Il fallimento è strutturale. I sistemi automatizzati, per quanto sofisticati, operano sul riconoscimento di pattern. Gli attori ostili apprendono quei pattern e si adattano. I ricercatori hanno notato che alcuni annunci utilizzavano clip brevi o sfocate di minori, che Meta ha citato come motivo per cui il rilevamento era più difficile. Quella spiegazione descrive esattamente come funziona l’evasione: il materiale di abuso è presente, ma progettato per scendere al di sotto della soglia che attiva i segnali automatici.
Questa dinamica ha ampie implicazioni per il modo in cui le piattaforme gestiscono i contenuti generati dall’IA. Quando il volume di annunci in esecuzione su una rete è immenso, la revisione umana diventa impraticabile su larga scala. I sistemi automatizzati colmano questa lacuna. Ma i sistemi automatizzati possono essere manipolati, e il costo per manipolarli, per le persone che producono e distribuiscono materiale di abusi sessuali su minori, è basso. Il costo per i minori le cui immagini vengono utilizzate non lo è.
L’attenzione normativa sta arrivando ora da più direzioni. Il senatore della Virginia Mark Warner ha inviato una lettera al CEO di Meta. Il procuratore generale del Michigan ha dichiarato che l’ufficio sta esaminando attivamente la questione. Il procuratore generale della Florida ha annunciato un’indagine. Il regolatore australiano eSafety ha dichiarato di stare valutando la conformità di Meta alle sue regole e di aver richiesto informazioni all’azienda a un livello senior.
Il Tech Transparency Project ha segnalato tutti gli annunci al CyberTipline del National Center for Missing and Exploited Children e afferma di essere in consultazione su come comunicare i risultati a coloro che sono stati colpiti.
In breve
La moderazione automatica dei contenuti, anche quando è rafforzata da strumenti di IA, può essere aggirata sistematicamente da attori che comprendono il funzionamento delle soglie di rilevamento. Più di 350 annunci contenenti materiale di abusi sessuali su minori sono stati pubblicati sulle piattaforme di Meta nel corso di diversi mesi, alcuni con bambini reali identificabili, alcuni rimossi solo dopo segnalazioni esterne e alcuni che nel frattempo hanno generato entrate per la piattaforma. Il divario tra le politiche dichiarate di un’azienda e ciò che i suoi sistemi intercettano effettivamente non è una nota a margine tecnica. È il luogo in cui risiede il danno.
Basato su un articolo di Wired.