Une équipe de recherche à but non lucratif a découvert plus de 350 publicités vidéo contenant du matériel pédosexuel diffusées sur les plateformes de Meta depuis la fin de l’année dernière. Les publicités n’étaient pas cachées dans des coins obscurs d’Internet. Elles ont été diffusées sur Facebook, Instagram, Messenger, Threads et sur le réseau publicitaire plus large de Meta, accumulant dans certains cas des centaines de vues tout en attendant d’être examinées après avoir été signalées. Il ne s’agit pas d’une histoire concernant une exploitation marginale. Il s’agit de ce qui se passe lorsque la modération de contenu automatisée rencontre une campagne d’abus déterminée et systématique, et qu’elle perd.
Comment les publicités ont été créées et ce qu’elles ont fait
Le modèle identifié par les chercheurs du Tech Transparency Project était cohérent dans l’ensemble du lot de publicités. La plupart commençaient par l’image d’une fillette ou d’une adolescente, sur laquelle était superposé un texte suggérant que l’image pouvait être manipulée sans restriction. En quelques secondes, la vidéo transformait le visage de l’enfant en un contenu sexuel explicite. Lorsqu’on cliquait dessus, les publicités incitaient les utilisateurs à télécharger des applications d’échange de visages par IA ou des applications vidéo depuis les boutiques d’applications d’Apple et de Google.
C’est ce qui rend le mécanisme particulièrement significatif, les publicités ne se contentaient pas de distribuer du matériel illégal. Elles fonctionnaient comme un canal commercial, favorisant le téléchargement d’applications liées à ce que les chercheurs décrivent comme des applications de mise à nu, dont beaucoup sont connectées à des développeurs chinois. La phrase répétée dans de nombreuses publicités, à savoir « C’est l’IA que les hommes utilisent réellement », indique que le contenu a été conçu pour normaliser et commercialiser ces outils.
Les chercheurs ont pu identifier l’identité réelle de quatre mineurs dont les images apparaissaient dans les publicités. Trois d’entre eux venaient des États-Unis, dont deux adolescentes influenceuses sur les réseaux sociaux avec des comptes publics sur les plateformes de Meta. L’une était un modèle de banque d’images dont la photo avait été étiquetée comme représentant une préadolescente sur les sites web de banques d’images d’où elle provenait. Le quatrième était un mineur appartenant à une famille royale européenne, dont la photographie officielle a été transformée en vidéo explicite. WIRED a confirmé que l’image source provenait du site web officiel d’une famille royale.
Le fossé entre la politique et la pratique
Les politiques publicitaires de Meta stipulent que l’entreprise examine toutes les publicités avant leur diffusion. Les publicités en question ont tout de même été publiées. Dans certains cas, après que des chercheurs ont signalé des publicités en direct via les propres outils de signalement de Meta, il a fallu une semaine à l’entreprise pour agir. Pendant ce laps de temps, ces publicités ont continué à accumuler des vues.
Lorsque Meta a fini par supprimer certaines des publicités, les avis de suppression n’indiquaient pas initialement que le contenu enfreignait les politiques relatives aux abus sexuels sur les enfants. Ce détail n’a été ajouté qu’après que WIRED a interrogé Meta sur cette divergence.
Meta avait précédemment annoncé de nouveaux outils d’IA conçus pour mieux détecter et bloquer les publicités nuisibles. L’ampleur de ce que les chercheurs ont découvert après cette annonce suggère que ces outils n’ont pas fonctionné comme prévu. Le porte-parole de Meta a déclaré que nombre de ces publicités avaient déjà été supprimées et que la plupart avaient généré moins de 200 impressions, l’entreprise ayant reçu moins de 5 000 dollars de paiements publicitaires pour cette campagne. Les chercheurs rétorquent que les publicités ont été montrées à plus de 29 000 comptes dans l’Union européenne et à environ 7 000 au Royaume-Uni, selon les données de la propre bibliothèque publicitaire de Meta. Une exposition supplémentaire significative a eu lieu aux États-Unis, en Australie et en Inde, où Meta ne publie pas de données de performance détaillées.
Ces conclusions tombent alors que Meta verse jusqu’à 16,7 milliards de dollars pour régler des poursuites judiciaires liées à des préjudices présumés causés aux enfants sur ses plateformes. L’entreprise fait également appel d’une décision d’un tribunal du Nouveau-Mexique qui l’obligerait à améliorer ses processus de signalement du matériel pédosexuel et à inclure un examen humain.
Ce que cela révèle sur la modération par IA à grande échelle
Voici ce que la plupart des reportages sur cette histoire minimisent, l’échec ne réside pas seulement dans le fait que de mauvais acteurs ont trouvé une faille. L’échec est structurel. Les systèmes automatisés, aussi sophistiqués soient-ils, fonctionnent sur la base de la reconnaissance de modèles. Les acteurs malveillants apprennent ces modèles et s’adaptent. Les chercheurs ont noté que certaines publicités utilisaient des clips brefs ou flous de mineurs, ce que Meta a cité comme une raison rendant la détection plus difficile. Cette explication décrit exactement le fonctionnement de l’évasion, le matériel pédosexuel est présent, mais conçu pour descendre sous le seuil qui déclenche les alertes automatisées.
Cette dynamique a de larges implications sur la manière dont les plateformes gèrent le contenu généré par IA. Lorsque le volume de publicités diffusées sur un réseau est immense, l’examen humain devient impraticable à grande échelle. Les systèmes automatisés comblent ce vide. Mais les systèmes automatisés peuvent être détournés, et le coût de ce détournement, pour les personnes qui produisent et distribuent du matériel pédosexuel, est faible. Le coût pour les enfants dont les images sont utilisées ne l’est pas.
L’attention des régulateurs se manifeste désormais de plusieurs côtés. Le sénateur de Virginie Mark Warner a envoyé une lettre au PDG de Meta. Le procureur général du Michigan a déclaré que ses services examinaient activement la question. Le procureur général de la Floride a annoncé l’ouverture d’une enquête. Le régulateur australien eSafety a déclaré qu’il évaluait la conformité de Meta à ses règles et avait demandé des informations à l’entreprise à un niveau supérieur.
Le Tech Transparency Project a signalé toutes les publicités au CyberTipline du National Center for Missing and Exploited Children et indique qu’il consulte des experts sur la manière de divulguer les résultats aux personnes concernées.
En bref
La modération de contenu automatisée, même renforcée par des outils d’IA, peut être contournée systématiquement par des acteurs qui comprennent le fonctionnement des seuils de détection. Plus de 350 publicités contenant du matériel pédosexuel ont été diffusées sur les plateformes de Meta pendant plusieurs mois, certaines mettant en scène de vrais enfants identifiables, certaines supprimées uniquement après un signalement externe, et certaines générant des revenus pour la plateforme au passage. Le fossé entre les politiques affichées par une entreprise et ce que ses systèmes attrapent réellement n’est pas une note de bas de page technique. C’est là que le préjudice réside.
D’après un reportage de Wired.