Uma equipa de investigação sem fins lucrativos encontrou mais de 350 anúncios em vídeo contendo material de abuso sexual infantil a correr nas plataformas da Meta desde o final do ano passado. Os anúncios não estavam enterrados em cantos obscuros da internet. Eles foram exibidos no Facebook, Instagram, Messenger, Threads e na rede de publicidade mais ampla da Meta, em alguns casos acumulando centenas de visualizações enquanto aguardavam revisão após serem denunciados. Esta não é uma história sobre uma exploração marginal. É uma história sobre o que acontece quando a moderação de conteúdo automatizada encontra uma campanha de abuso determinada e sistemática, e perde.
Como os Anúncios Foram Criados e o que Eles Fizeram
O padrão que os investigadores do Tech Transparency Project identificaram foi consistente em todo o conjunto de anúncios. A maioria começou com a imagem de uma menina pré-adolescente ou adolescente, sobreposta com texto sugerindo que a imagem poderia ser manipulada sem restrições. Em segundos, o vídeo transformava o rosto da criança em conteúdo sexual explícito. Quando clicados, os anúncios direcionavam os utilizadores para descarregar aplicações de troca de rostos por IA ou de vídeo das lojas de aplicações da Apple e da Google.
Isto é o que torna o mecanismo particularmente significativo: os anúncios não estavam apenas a distribuir material ilegal. Eles estavam a funcionar como um canal comercial, impulsionando downloads de aplicações ligadas ao que os investigadores descrevem como aplicações de remoção de roupa, muitas conectadas a programadores chineses. A frase repetida em muitos anúncios, “Esta é a IA que os homens realmente usam”, sinaliza que o conteúdo foi projetado para normalizar e comercializar estas ferramentas.
Os investigadores conseguiram identificar as identidades reais de quatro menores cujas imagens apareceram nos anúncios. Três eram dos Estados Unidos, incluindo duas influenciadoras adolescentes de redes sociais com contas públicas nas próprias plataformas da Meta. Uma era uma modelo de banco de imagens cuja imagem tinha sido rotulada como retratando uma pré-adolescente nos sites de bancos de imagens onde foi obtida. A quarta era uma menor pertencente a uma família real europeia, cuja fotografia oficial foi transformada num vídeo explícito. O WIRED confirmou que a imagem de origem veio do site oficial de uma família real.
A Lacuna Entre a Política e a Prática
As políticas de publicidade da Meta afirmam que a empresa analisa todos os anúncios antes de serem veiculados. Os anúncios em questão foram publicados de qualquer maneira. Em alguns casos, depois de os investigadores terem denunciado anúncios ativos através das próprias ferramentas de denúncia da Meta, a empresa demorou uma semana a agir. Durante essa janela, esses anúncios continuaram a acumular visualizações.
Quando a Meta eventualmente removeu alguns dos anúncios, os avisos de remoção inicialmente não especificavam que o conteúdo violava as políticas de abuso sexual infantil. Esse detalhe só foi adicionado depois de o WIRED ter questionado a Meta sobre a discrepância.
A Meta tinha anunciado anteriormente novas ferramentas de IA projetadas para detetar e bloquear melhor anúncios nocivos. A escala do que os investigadores encontraram após esse anúncio sugere que essas ferramentas não funcionaram conforme o esperado. O porta-voz da Meta afirmou que muitos dos anúncios já tinham sido removidos e que a maioria teve menos de 200 impressões, com a empresa a receber menos de 5.000 dólares em pagamentos de anúncios da campanha. Os investigadores retorquem que os anúncios foram mostrados a mais de 29.000 contas em toda a União Europeia e cerca de 7.000 no Reino Unido, de acordo com dados da própria biblioteca de anúncios da Meta. Uma exposição adicional significativa ocorreu nos Estados Unidos, Austrália e Índia, onde a Meta não publica dados granulares de desempenho.
As descobertas chegaram no momento em que a Meta está a pagar até 16,7 mil milhões de dólares para resolver processos judiciais relacionados com o alegado dano a crianças nas suas plataformas. A empresa também está a recorrer de uma decisão do tribunal do Novo México que exigiria que melhorasse os seus processos de denúncia de material de abuso sexual infantil e incluísse revisão humana.
O que Isto Revela Sobre a Moderação de IA em Grande Escala
Eis o que a maioria da cobertura desta história subestima: a falha não é simplesmente que maus atores encontraram uma brecha. A falha é estrutural. Os sistemas automatizados, por mais sofisticados que sejam, operam com base no reconhecimento de padrões. Atores adversários aprendem esses padrões e adaptam-se. Os investigadores observaram que alguns anúncios usavam clipes breves ou desfocados de menores, o que a Meta citou como um motivo para a deteção ter sido mais difícil. Essa explicação descreve exatamente como a evasão funciona: o material de abuso está presente, mas projetado para ficar abaixo do limite que aciona os alertas automatizados.
Esta dinâmica tem amplas implicações sobre como as plataformas governam o conteúdo gerado por IA. Quando o volume de anúncios veiculados numa rede é vasto, a revisão humana torna-se impraticável em escala. Os sistemas automatizados preenchem essa lacuna. Mas os sistemas automatizados podem ser manipulados, e o custo de os manipular, para as pessoas que produzem e distribuem material de abuso sexual infantil, é baixo. O custo para as crianças cujas imagens são usadas não o é.
A atenção regulatória está agora a chegar de várias direções. O senador da Virgínia Mark Warner enviou uma carta ao CEO da Meta. O procurador-geral de Michigan afirmou que o gabinete está a analisar ativamente o assunto. O procurador-geral da Flórida anunciou uma investigação. O regulador eSafety da Austrália disse que está a avaliar a conformidade da Meta com as suas regras e solicitou informações à empresa a um nível sénior.
O Tech Transparency Project denunciou todos os anúncios para a CyberTipline do National Center for Missing and Exploited Children e diz que está a consultar sobre como divulgar as descobertas aos afetados.
Em Resumo
A moderação de conteúdo automatizada, mesmo quando reforçada por ferramentas de IA, pode ser sistematicamente evitada por atores que entendem como os limites de deteção funcionam. Mais de 350 anúncios contendo material de abuso sexual infantil foram veiculados nas plataformas da Meta ao longo de vários meses, alguns apresentando crianças reais identificáveis, alguns removidos apenas após denúncia externa e alguns gerando receita para a plataforma no processo. A lacuna entre as políticas declaradas de uma empresa e o que os seus sistemas realmente detetam não é uma nota de rodapé técnica. É onde o dano habita.
Com base em reportagem de Wired.