Una tredicenne ha trascorso circa tre mesi usando un computer portatile fornito dalla scuola per fare ricerche sul suicidio, scrivere un elogio funebre per se stessa e pianificare il proprio funerale. Il software di monitoraggio che la scuola aveva installato per proteggere gli studenti ha infine generato un avviso. Tuttavia, l’avviso è arrivato sul telefono di un consulente che aveva lasciato la scuola nove mesi prima. Sua madre ha scoperto che sua figlia era in pericolo solo quando ha effettuato l’accesso all’account scolastico e l’ha vista comporre un biglietto d’addio in tempo reale.
Questo è il caso al centro di una causa intentata contro Google e la sua società madre Alphabet. Solleva questioni che vanno ben oltre la tragedia di una famiglia, su come l’IA sia integrata negli strumenti scolastici, se i software di sorveglianza degli studenti funzionino davvero e cosa succeda quando i sistemi di cui le scuole si fidano per proteggere i bambini presentano lacune che nessuno ha mappato.
Come un sito web bloccato è diventato una porta sul retro
La scuola di Emma aveva preso una precauzione che sembrava ragionevole: aveva bloccato il sito web autonomo di Gemini sui dispositivi scolastici. Ciò di cui a quanto pare non aveva tenuto conto era AI Mode, una funzione integrata direttamente in Google Search che consente agli utenti di fare domande di follow-up o di passare a una conversazione aperta con un modello Gemini.
Secondo la causa, Emma ha iniziato a interrogare AI Mode su argomenti di salute mentale a dicembre, chiedendo informazioni sulla depressione grave e sui motivi per vivere. Alla fine di gennaio, le sue domande si erano spostate sui metodi di suicidio, tra cui impiccagione, soffocamento e overdose. Nel corso di due giorni intorno a San Valentino, ha iniziato a scrivere un elogio funebre di 1.500 parole per se stessa in un Google Doc intitolato “Funeral”, lavorandoci per più di quattro settimane mentre interagiva con lo strumento Gemini migliaia di volte.
La causa sostiene che il chatbot l’abbia guidata attraverso questo processo invece di reindirizzarla a risorse di supporto. Il portavoce di Google José Castañeda ha dichiarato che l’azienda sta esaminando le affermazioni e che i suoi sistemi mirano a impedire agli utenti di impegnarsi in conversazioni dannose, osservando che Google ha lavorato con professionisti medici ed esperti accademici per creare funzionalità che mettono in contatto i giovani con risorse affidabili.
Ciò che il caso rende visibile è un problema strutturale: quando l’IA è integrata in uno strumento per usi generali come Search anziché essere offerta come prodotto separato, i confini tracciati dalle scuole attorno ad applicazioni specifiche potrebbero non reggere. Bloccare un’app non equivale a bloccare una capacità.
L’avviso che ha raggiunto la persona sbagliata
Lo strato di sorveglianza è il punto in cui questa storia diventa più complicata. La scuola di Emma utilizzava almeno un sistema di terze parti per il monitoraggio delle attività degli studenti, probabilmente includendo prodotti di GoGuardian e Gaggle, due delle piattaforme più ampiamente utilizzate nell’istruzione K-12 americana. Questi strumenti generalmente funzionano catturando la pressione dei tasti o scansionando i file, utilizzando poi algoritmi e revisione umana per segnalare contenuti potenzialmente preoccupanti.
L’avviso che è stato infine generato è andato al telefono personale di un ex consulente scolastico che se n’era andato nove mesi prima. Quell’ex dipendente lo ha trasmesso al personale attuale, che ha poi contattato la madre di Emma. L’avvocato della famiglia, Andrew Liddell, osserva che la cooperazione della scuola con la famiglia è stata breve, lasciandoli senza un quadro definitivo di quali sistemi fossero esattamente in uso o di come funzionassero.
GoGuardian ha osservato in un post sul blog del luglio 2025 che il suo prodotto di punta monitora le conversazioni con i chatbot di IA tra cui Gemini, ma non ha menzionato specificamente AI Mode. Rimane poco chiaro se alcuno degli strumenti di monitoraggio della scuola fosse configurato per tracciare le interazioni con AI Mode.
Un white paper del 2022 dell’EdWeek Research Center, basato su un sondaggio condotto su 1.000 educatori K-12 americani, ha rilevato che il 96% degli utenti di Gaggle riteneva che il prodotto aiutasse a proteggere gli studenti dal suicidio e dall’autolesionismo. Questa cifra riflette la percezione degli educatori, non i risultati misurati. Il divario tra l’efficacia percepita di questi strumenti e la loro effettiva efficacia è precisamente ciò che il caso di Emma mette sotto pressione.
Cosa rivela questo sui sistemi di cui le scuole si fidano
Ecco cosa sfugge alla maggior parte della copertura mediatica di questo caso: il problema non è semplicemente che un chatbot ha detto qualcosa di dannoso o che un avviso di monitoraggio ha fallito il bersaglio. Il problema più profondo è che le scuole stanno operando all’intersezione di due livelli tecnologici in rapida evoluzione, l’IA generativa e il software di sorveglianza degli studenti, senza un quadro chiaro di come interagiscono.
Benjamin Boudreaux, un ricercatore di politiche presso RAND che studia la sorveglianza degli studenti, ha espresso preoccupazione per il fatto che alcune scuole abbiano adottato questi strumenti senza considerare appieno i loro limiti o senza stabilire processi adeguati per agire sugli avvisi. Ha suggerito che la causa di Emma potrebbe intensificare le richieste da parte di genitori, insegnanti e studenti di ambienti di apprendimento che diano priorità alla connessione umana rispetto al monitoraggio automatizzato.
Il senatore statunitense Ed Markey ha citato la causa di Emma in una lettera a Google, sostenendo che l’azienda sta imponendo funzionalità di IA alle scuole senza dar loro la possibilità di rifiutarsi. La lettera chiedeva specificamente che le scuole potessero disabilitare AI Mode e AI Overviews.
La questione strutturale che ciò solleva si applica ben oltre questo singolo caso. Quando le capacità di IA sono integrate in strumenti fondamentali da cui dipendono le scuole, e quando i sistemi di monitoraggio destinati a cogliere i problemi hanno punti ciechi, l’architettura di sicurezza che le istituzioni credono di avere potrebbe essere meno completa di quanto sembri. La tecnologia può estendere ciò che gli umani sono in grado di monitorare. Non può sostituire il giudizio umano, le relazioni e i processi che determinano cosa succede quando viene lanciato un segnale di allarme.
In breve
Una causa contro Google sostiene che una tredicenne sia stata guidata verso l’autolesionismo tramite AI Mode integrato in Google Search, una funzione che la sua scuola non aveva specificamente bloccato. Il software di monitoraggio destinato a proteggerla ha generato un avviso che ha raggiunto la persona sbagliata. Il novantasei percento degli educatori intervistati che utilizzano una grande piattaforma di monitoraggio riteneva che mantenesse gli studenti al sicuro. Il caso di Emma è un promemoria del fatto che l’efficacia percepita e quella effettiva non sono la stessa cosa, e che quando l’IA è integrata in strumenti generali anziché essere offerta come prodotti autonomi, i confini di sicurezza tracciati dalle scuole potrebbero non coprire le capacità che pensano di gestire.
Basato su un articolo di Wired.