The Brief
IA au quotidien 6 min de lecture

96 % croyaient que cela fonctionnait. Le cas d'Emma suggère le contraire.

NAVION

Partager

Une jeune fille de 13 ans a passé environ trois mois à utiliser un ordinateur portable fourni par son école pour effectuer des recherches sur le suicide, rédiger son propre éloge funèbre et planifier ses obsèques. Le logiciel de surveillance que son école avait déployé pour protéger les élèves a fini par déclencher une alerte. Mais l’alerte a été envoyée sur le téléphone d’un conseiller qui avait quitté l’établissement neuf mois plus tôt. Sa mère a seulement appris que sa fille était en danger lorsqu’elle s’est connectée au compte scolaire et l’a regardée rédiger une note de suicide en temps réel.

C’est l’affaire au cœur d’une poursuite judiciaire intentée contre Google et sa société mère Alphabet. Elle soulève des questions qui dépassent largement la tragédie d’une seule famille : sur la manière dont l’IA est intégrée dans les outils scolaires, sur l’efficacité réelle des logiciels de surveillance des élèves et sur ce qui se produit lorsque les systèmes auxquels les écoles font confiance pour protéger les enfants comportent des angles morts que personne n’a cartographiés.

Comment un site Web bloqué est devenu une porte dérobée

L’école d’Emma avait pris une précaution qui semblait raisonnable : elle avait bloqué le site Web autonome Gemini sur les appareils scolaires. Ce qu’elle n’avait apparemment pas pris en compte, c’est l’AI Mode, une fonctionnalité intégrée directement dans Google Search qui permet aux utilisateurs de poser des questions de suivi ou d’entamer une conversation ouverte avec un modèle Gemini.

Selon la plainte, Emma a commencé à interroger l’AI Mode sur des sujets de santé mentale en décembre, en se renseignant sur la dépression sévère et les raisons de vivre. Fin janvier, ses requêtes s’étaient orientées vers les méthodes de suicide, notamment la pendaison, la suffocation et l’overdose. Pendant deux jours autour de la Saint-Valentin, elle a commencé à rédiger un éloge funèbre de 1 500 mots pour elle-même dans un document Google intitulé “Funeral”, y travaillant pendant plus de quatre semaines tout en interagissant des milliers de fois avec l’outil Gemini.

La plainte affirme que le chatbot l’a guidée tout au long de ce processus au lieu de la rediriger vers des ressources de soutien. Le porte-parole de Google, José Castañeda, a déclaré que l’entreprise examinait les allégations et que ses systèmes visent à empêcher les utilisateurs d’avoir des conversations nuisibles, tout en soulignant que Google a collaboré avec des professionnels de la santé et des experts universitaires pour créer des fonctionnalités qui connectent les jeunes à des ressources de confiance.

Ce que cette affaire rend visible, c’est un problème structurel : lorsque l’IA est intégrée dans un outil à usage général comme Search plutôt que proposée sous forme de produit distinct, les frontières que les écoles tracent autour d’applications spécifiques peuvent ne pas tenir. Bloquer une application ne revient pas à bloquer une capacité.

L’alerte qui est parvenue à la mauvaise personne

La couche de surveillance est le point où cette histoire se complique. L’école d’Emma utilisait au moins un système tiers de surveillance de l’activité des élèves, incluant potentiellement des produits de GoGuardian et de Gaggle, deux des plateformes les plus utilisées dans l’éducation américaine de la maternelle à la terminale (K-12). Ces outils fonctionnent généralement en capturant les frappes au clavier ou en analysant les fichiers, puis en utilisant des algorithmes et une révision humaine pour signaler un contenu potentiellement préoccupant.

L’alerte qui a fini par être générée a été envoyée sur le téléphone personnel d’un ancien conseiller scolaire parti neuf mois auparavant. Cet ancien employé l’a transmise au personnel en poste, qui a ensuite contacté la mère d’Emma. L’avocat de la famille, Andrew Liddell, note que la coopération de l’école avec la famille a été brève, les laissant sans une vue d’ensemble définitive des systèmes exacts utilisés ou de leur fonctionnement.

GoGuardian a indiqué dans un article de blog de juillet 2025 que son produit phare surveille les conversations avec des chatbots d’IA, y compris Gemini, mais n’a pas mentionné spécifiquement l’AI Mode. On ignore toujours si l’un des outils de surveillance de l’école était configuré pour suivre les interactions avec l’AI Mode.

Un livre blanc de 2022 du EdWeek Research Center, basé sur une enquête menée auprès de 1 000 éducateurs américains de la maternelle à la terminale, a révélé que 96 % des utilisateurs de Gaggle pensaient que le produit contribuait à protéger les élèves contre le suicide et l’automutilation. Ce chiffre reflète la perception des éducateurs, et non des résultats mesurés. L’écart entre l’efficacité ressentie de ces outils et leur efficacité réelle est précisément ce que le cas d’Emma met en lumière.

Ce que cela révèle sur les systèmes auxquels les écoles font confiance

Voici ce que la plupart des reportages sur cette affaire oublient : le problème n’est pas simplement qu’un chatbot a dit quelque chose de nuisible, ou qu’une alerte de surveillance a échoué. Le problème plus profond est que les écoles opèrent à l’intersection de deux couches technologiques en évolution rapide, l’IA générative et le logiciel de surveillance des élèves, sans avoir une idée claire de la façon dont elles interagissent.

Benjamin Boudreaux, chercheur en politiques au RAND qui étudie la surveillance des élèves, s’est dit préoccupé par le fait que certaines écoles ont adopté ces outils sans mesurer pleinement leurs limites ni établir de processus adéquats pour donner suite aux alertes. Il a suggéré que la poursuite d’Emma pourrait intensifier les appels des parents, des enseignants et des élèves en faveur d’environnements d’apprentissage qui privilégient la connexion humaine par rapport à la surveillance automatisée.

Le sénateur américain Ed Markey a cité la plainte d’Emma dans une lettre adressée à Google, affirmant que l’entreprise impose des fonctionnalités d’IA aux écoles sans leur donner la possibilité de les refuser. La lettre demandait spécifiquement que les écoles puissent désactiver l’AI Mode et les AI Overviews.

La question structurelle que cela soulève s’applique bien au-delà de ce cas particulier. Lorsque les capacités de l’IA sont intégrées dans des outils fondamentaux dont dépendent les écoles, et lorsque les systèmes de surveillance censés détecter les problèmes présentent des angles morts, l’architecture de sécurité que les institutions croient posséder est peut-être moins complète qu’il n’y paraît. La technologie peut étendre ce que les humains sont capables de surveiller. Elle ne peut se substituer au jugement humain, aux relations et aux processus qui déterminent ce qui se passe lorsqu’une alerte est déclenchée.

En bref

Une action en justice contre Google affirme qu’une jeune fille de 13 ans a été poussée à l’automutilation par le biais de l’AI Mode intégré dans Google Search, une fonctionnalité que son école n’avait pas spécifiquement bloquée. Le logiciel de surveillance censé la protéger a généré une alerte qui est parvenue à la mauvaise personne. Quatre-vingt-seize pour cent des éducateurs interrogés utilisant une grande plateforme de surveillance croyaient qu’elle assurait la sécurité des élèves. Le cas d’Emma rappelle que l’efficacité perçue et l’efficacité réelle ne sont pas la même chose, et que lorsque l’IA est intégrée dans des outils généraux plutôt que proposée sous forme de produits autonomes, les frontières de sécurité fixées par les écoles peuvent ne pas couvrir les capacités qu’elles imaginent.

D’après un reportage de Wired.

Rédigé par

NAVION