Un produit conçu pour rendre l’IA plus sûre pour les adolescents fait lui-même l’objet d’un examen minutieux. Common Sense Media, une organisation à but non lucratif qui plaide pour une utilisation responsable des médias numériques, a publié un rapport concluant que ChatGPT for Teens, une version du chatbot d’OpenAI dotée de protections adaptées à l’âge, présente ce que le groupe qualifie de “risque inacceptable” pour les enfants. Le rapport exhorte OpenAI à limiter l’accès aux adultes jusqu’à ce que le produit puisse offrir une expérience véritablement sûre et adaptée au développement.
OpenAI conteste ces conclusions, arguant que la méthodologie de test ne reflète pas fidèlement le fonctionnement des mécanismes de protection du produit. Ce désaccord n’est pas seulement un différend technique entre deux organisations. Il met en lumière une question plus profonde et largement irriguée de zones d’ombre, à savoir ce que signifie réellement rendre un système d’IA sûr pour un jeune.
Les fonctionnalités qui ont échoué, et celle qui a fonctionné
L’évaluation de Common Sense Media n’a pas échoué sur toute la ligne pour ChatGPT for Teens. Le rapport reconnait que le chatbot a correctement refusé les jeux de rôle sexuels explicites, ce qui représente l’une des catégories de préjudices les plus simples à bloquer.
Les échecs, en revanche, sont plus difficiles à écarter. Selon le rapport, les alertes conçues pour informer les parents lorsqu’un enfant présente un risque de suicide, d’automutilation ou de troubles du comportement alimentaire n’ont pas fonctionné comme prévu. Les fonctionnalités de soutien en cas de crise destinées aux adolescents en détresse ont également fait défaut. Il ne s’agit pas de cas limites ou de désagréments mineurs. Ce sont précisément les scénarios où un garde-fou défectueux entraîne les conséquences les plus graves.
La réponse d’OpenAI se focalise sur la méthodologie, l’entreprise affirmant que son examen suggère qu’une grande partie des tests a peut-être été menée avant que le contrôle parental ne soit entièrement activé, ce qui rendrait les résultats inexacts. Common Sense Media n’a pas retiré ses conclusions.
Le problème de l’anthropomorphisme
Il y a un deuxième échec documenté dans le rapport qui mérite une attention particulière, car il est plus subtil et sans doute plus systémique. OpenAI avait déclaré que ChatGPT for Teens ne suggérerait pas qu’il a des sentiments personnels envers l’utilisateur et ne laisserait pas entendre qu’il est conscient ou qu’il éprouve des émotions. Common Sense Media a constaté que le chatbot communique toujours sur un registre amical lorsque les adolescents le traitent comme une personne.
Cette situation a des répercussions qui vont au-delà du simple ton. Des experts en développement infantile ont souligné que le cerveau des adolescents n’est pas encore totalement développé, ce qui les rend particulièrement vulnérables au développement de liens malsains avec des systèmes qui répondent avec une apparente chaleur et compréhension. Même les adultes peuvent tomber dans le piège de l’anthropomorphisme de l’IA. Pour les adolescents, le risque est structurellement plus élevé.
La préoccupation n’est pas que le chatbot soit malveillant. C’est qu’un système optimisé pour être utile et engageant puisse, sans aucune intention, devenir un outil sur lequel un adolescent vulnérable s’appuie au point de remplacer le soutien humain. Lorsque les garde-fous censés prévenir cette dynamique ne fonctionnent pas, le produit ne remplit pas les promesses qu’il affiche.
Ce que cela révèle sur la sécurité de l’IA en tant que catégorie
Voici ce que la plupart des couvertures médiatiques de cette affaire oublient, à savoir que le débat entre Common Sense Media et OpenAI ne porte pas principalement sur un seul produit. Il s’agit d’une étude de cas illustrant le décalage entre les fonctionnalités de sécurité annoncées et les résultats de sécurité vérifiés.
Déclarer qu’un produit est doté de garde-fous ne revient pas à démontrer que ces garde-fous fonctionnent dans des conditions réelles. La méthodologie de test a une importance capitale, et le fait que deux parties puissent examiner le même produit et parvenir à des conclusions opposées quant à sa sécurité constitue en soi le signal que le domaine manque de normes d’évaluation partagées.
La relation de financement ajoute une couche supplémentaire de complexité. Common Sense Media reçoit des fonds d’OpenAI et d’autres entreprises technologiques dont il évalue les produits. Le groupe n’a pas retiré son rapport, et le conflit d’intérêts va dans une direction inhabituelle, puisque le financeur fait l’objet de critiques. Cela n’invalide pas les conclusions, mais cela illustre à quel point l’écosystème de la surveillance de l’IA est devenu complexe.
Pour les parents, la portée pratique est directe. Un produit commercialisé comme sûr pour les adolescents, doté d’un contrôle parental et d’une conception adaptée à l’âge, peut engendrer un niveau de confiance que la technologie sous-jacente ne justifie pas encore. Les termes du rapport sur ce point sont précis, car la crainte n’est pas seulement que les garde-fous échouent, mais que leur existence amène les parents à croire que le risque a été maîtrisé alors qu’il ne l’est pas.
Pour l’ensemble de l’industrie de l’IA, cet épisode renforce une tendance. Des fonctionnalités de sécurité sont annoncées au lancement. Une évaluation indépendante s’ensuit. Des lacunes apparaissent. Des différends méthodologiques éclatent. Le cycle commence à devenir familier, et les enjeux sont d’autant plus grands que les utilisateurs sont des mineurs.
En bref
Common Sense Media a constaté que des fonctionnalités de sécurité clés de ChatGPT for Teens, en particulier celles liées à la détection des crises et aux limites émotionnelles, ne fonctionnaient pas comme OpenAI l’avait décrit. OpenAI conteste la méthodologie. Le désaccord importe moins que ce qu’il révèle, puisqu’il n’existe actuellement aucune norme partagée et indépendante pour vérifier les déclarations de sécurité de l’IA, et que des produits commercialisés comme sûrs pour les enfants parviennent aux jeunes utilisateurs avant même que cette vérification n’existe.
D’après un reportage de Fast Company.