Ein gemeinnütziges Forschungsteam fand mehr als 350 Videoanzeigen mit Material über sexuellen Kindesmissbrauch, die seit Ende des letzten Jahres auf den Plattformen von Meta geschaltet wurden. Die Anzeigen waren nicht in dunklen Ecken des Internets versteckt. Sie liefen auf Facebook, Instagram, Messenger, Threads und dem breiteren Werbenetzwerk von Meta, wobei sie in einigen Fällen Hunderte von Aufrufen sammelten, während sie nach einer Meldung auf ihre Überprüfung warteten. Dies ist keine Geschichte über einen Nischen-Exploit. Es ist eine Geschichte darüber, was passiert, wenn automatisierte Inhaltsmoderation auf eine entschlossene, systematische Missbrauchskampagne trifft und verliert.
Wie die Anzeigen erstellt wurden und was sie taten
Das Muster, das Forscher beim Tech Transparency Project identifizierten, war über den gesamten Fundus an Anzeigen hinweg konsistent. Die meisten begannen mit dem Bild eines vorpubertären oder teenage Mädchens, über das Text gelegt war, der suggerierte, das Bild könne uneingeschränkt manipuliert werden. Innerhalb von Sekunden verwandelte das Video das Gesicht des Kindes in explizites sexuelles Material. Wenn Nutzer darauf klickten, wurden sie dazu gebracht, KI-Face-Swapping- oder Video-Apps aus den App Stores von Apple und Google herunterzuladen.
Das ist es, was den Mechanismus besonders bedeutsam macht: Die Anzeigen verteilten nicht einfach nur illegal Material. Sie fungierten als kommerzieller Kanal und trieben Downloads von Anwendungen voran, die mit sogenannten „Nudification“-Apps verbunden sind, von denen viele mit chinesischen Entwicklern in Verbindung stehen. Der in vielen Anzeigen wiederholte Satz „Das ist die KI, die Männer tatsächlich nutzen“, signalisiert, dass der Inhalt darauf ausgelegt war, diese Tools zu normalisieren und zu vermarkten.
Forscher konnten die realen Identitäten von vier Minderjährigen ermitteln, deren Bilder in den Anzeigen auftauchten. Drei stammten aus den Vereinigten Staaten, darunter zwei teenage Social-Media-Influencer mit öffentlichen Konten auf Metas eigenen Plattformen. Eines war ein Stockfoto-Model, dessen Bild auf den Stockfoto-Websites, von denen es bezogen wurde, als Darstellung einer Minderjährigen gekennzeichnet worden war. Die vierte Person war eine Minderjährige aus einer europäischen Königsfamilie, deren offizielles Foto in ein explizites Video verwandelt wurde. WIRED bestätigte, dass das Quellbild von der offiziellen Website einer Königsfamilie stammte.
Die Lücke zwischen Richtlinie und Praxis
Metas Werberichtlinien besagen, dass das Unternehmen alle Anzeigen vor ihrer Schaltung überprüft. Die betreffenden Anzeigen wurden trotzdem veröffentlicht. In einigen Fällen dauerte es nach Meldungen der Forscher über Metas eigene Meldetools eine Woche, bis das Unternehmen handelte. Während dieses Zeitraums sammelten diese Anzeigen weiterhin Aufrufe.
Als Meta schließlich einige der Anzeigen entfernte, gaben die Entfernungshinweise zunächst nicht an, dass der Inhalt gegen die Richtlinien zum sexuellen Kindesmissbrauch verstieß. Dieses Detail wurde erst hinzugefügt, nachdem WIRED Meta zu der Diskrepanz befragt hatte.
Meta hatte zuvor neue KI-Tools angekündigt, die schädliche Anzeigen besser erkennen und blockieren sollen. Das Ausmaß dessen, was Forscher nach dieser Ankündigung fanden, legt nahe, dass diese Tools nicht wie vorgesehen funktioniert haben. Ein Sprecher von Meta erklärte, dass viele der Anzeigen bereits entfernt worden waren, dass die meisten weniger als 200 Impressionen hatten und dass das Unternehmen weniger als 5.000 US-Dollar an Werbeeinnahmen aus der Kampagne erhalten hatte. Forscher entgegnen, dass die Anzeigen laut Daten aus Metas eigener Werbebibliothek mehr als 29.000 Konten in der Europäischen Union und etwa 7.000 im Vereinigten Königreich gezeigt wurden. Eine erhebliche zusätzliche Verbreitung fand in den Vereinigten Staaten, Australien und Indien statt, wo Meta keine detaillierten Leistungsdaten veröffentlicht.
Die Ergebnisse kommen zu einem Zeitpunkt, an dem Meta bis zu 16,7 Milliarden US-Dollar zahlt, um Klagen im Zusammenhang mit angeblichen Schäden für Kinder auf seinen Plattformen beizulegen. Das Unternehmen geht zudem gegen eine Entscheidung eines Gerichts in New Mexico in Berufung, die es dazu verpflichten würde, seine Prozesse zur Meldung von Material über sexuellen Kindesmissbrauch zu verbessern und eine menschliche Überprüfung einzubeziehen.
Was dies über KI-Moderation im großen Maßstab verrät
Hier ist, was die meiste Berichterstattung über diese Geschichte untertreibt: Das Versagen besteht nicht einfach darin, dass böswillige Akteure eine Schlupfloch gefunden haben. Das Versagen ist strukturell. Automatisierte Systeme basieren, egal wie ausgereift sie sind, auf Mustererkennung. Gegnerische Akteure lernen diese Muster und passen sich an. Die Forscher wiesen darauf hin, dass einige Anzeigen kurze oder verschwommene Clips von Minderjährigen verwendeten, was Meta als Grund dafür anführte, dass die Erkennung schwieriger war. Diese Erklärung beschreibt genau, wie Umgehung funktioniert: Das Missbrauchsmaterial ist vorhanden, aber so konstruiert, dass es unter die Schwelle fällt, die automatisierte Warnungen auslöst.
Diese Dynamik hat weitreichende Implikationen dafür, wie Plattformen von KI generierte Inhalte regulieren. Wenn das Volumen der über ein Netzwerk geschalteten Anzeigen enorm ist, wird eine menschliche Überprüfung im großen Maßstab unpraktisch. Automatisierte Systeme füllen diese Lücke. Aber automatisierte Systeme können manipuliert werden, und die Kosten für diese Manipulation sind für die Personen, die Material über sexuellen Kindesmissbrauch produzieren und verbreiten, gering. Die Kosten für die Kinder, deren Bilder verwendet werden, sind es nicht.
Die Aufmerksamkeit der Regulierungsbehörden kommt nun aus mehreren Richtungen. Der Senator aus Virginia, Mark Warner, schickte einen Brief an den CEO von Meta. Der Generalstaatsanwalt von Michigan erklärte, dass die Behörde die Angelegenheit aktiv prüft. Der Generalstaatsanwalt von Florida kündigte eine Untersuchung an. Die australische Regulierungsbehörde eSafety teilte mit, dass sie die Einhaltung ihrer Regeln durch Meta prüft und Informationen von dem Unternehmen auf Führungsebene angefordert hat.
Das Tech Transparency Project meldete alle Anzeigen an den CyberTipline des National Center for Missing and Exploited Children und gibt an, dass es sich darüber berät, wie die Ergebnisse den Betroffenen mitgeteilt werden können.
Kurz gesagt
Automatisierte Inhaltsmoderation kann, selbst wenn sie durch KI-Tools verstärkt wird, von Akteuren systematisch umgangen werden, die verstehen, wie Erkennungsschwellenwerte funktionieren. Mehr als 350 Anzeigen mit Material über sexuellen Kindesmissbrauch liefen über mehrere Monate hinweg auf den Plattformen von Meta, einige zeigten identifizierbare echte Kinder, einige wurden erst nach externen Meldungen entfernt, und einige generierten dabei Einnahmen für die Plattform. Die Lücke zwischen den erklärten Richtlinien eines Unternehmens und dem, was seine Systeme tatsächlich erfassen, ist keine technische Fußnote. Sie ist der Ort, an dem der Schaden stattfindet.
Basierend auf Berichten von Wired.