The Brief
Sociedad y ética 5 min de lectura

Deepfakes en el aula: Una nueva forma de acoso

NAVION

Compartir

Un profesor suplente en Los Banos, California, se enteró de una imagen manipulada suya mientras trabajaba en un turno en una cafetería. El primo de otro barista la había visto circulando en las redes sociales. La imagen parecía una autofoto en el espejo que recordaba haber tomado años antes, pero su uniforme de trabajo había sido reemplazado por lencería y su postura alterada en una pose sugerente. Ese momento, tal como lo describió a WIRED, se sintió como “un golpe en el estómago”. También fue el comienzo de un calvario de meses que cruzaría dos escuelas e involucraría a estudiantes, administradores y la policía.

Su caso no es aislado. WIRED habló con múltiples educadores que alegan que los estudiantes crearon imágenes o videos sexualizados de ellos utilizando herramientas de IA, y el patrón que surge en estos relatos revela algo importante: este no es un problema marginal. Es uno estructural.

Cómo una sola imagen se convierte en una crisis de meses

Lo que hace que estos incidentes sean particularmente difíciles de contener es la rapidez con la que el contenido generado por IA se propaga a través de plataformas y círculos sociales. En el caso de Los Banos, la imagen pasó de TikTok a Snapchat, y luego siguió al profesor a una escuela completamente diferente. Durante una clase en la escuela secundaria local, recibió la misma imagen generada por IA a través de AirDrop antes de que fuera revocada rápidamente. El contenido había viajado efectivamente con él.

El profesor identificó una posible fuente a través de una cuenta de TikTok que usaba el nombre real de un estudiante. También descubrió una cuenta separada que lo suplantaba, usando su nombre con una ligera falta de ortografía y su foto como imagen de perfil. Un estudiante admitió haber creado la imagen y recibió una suspensión dentro de la escuela. Pero la disciplina no detuvo la propagación. Otros estudiantes continuaron publicando la imagen, y aparecieron comentarios sexuales groseros en su cuenta legítima de TikTok.

Eventualmente le dijo a los administradores que no regresaría a la escuela intermedia hasta que el asunto estuviera completamente resuelto. El distrito no respondió a la solicitud de comentarios de WIRED. Más tarde dijo que probablemente no regresaría al distrito en absoluto ese año, afirmando claramente que no se sentía seguro haciéndolo.

Un patrón en todas las escuelas, no un incidente aislado

Una segunda educadora, una profesora de escuela intermedia de unos veintitantos años que solicitó el anonimato, describió una situación que escaló mucho más allá de una sola pieza de contenido fabricado. Los estudiantes habían apuntado previamente a una colega de unos sesenta años, encontrando fotos públicas y manipulándolas para representar actos sexuales, y luego compartiéndolas en un chat grupal de Snapchat. Cuando la profesora más joven se convirtió en un objetivo ella misma, el contenido tomó una forma diferente: una cuenta de TikTok que la suplantaba, aparentemente generada por IA, mostraba su rostro con la suavidad característica de las imágenes sintéticas, su boca moviéndose de manera antinatural y su voz desincronizada. Algunos videos la representaban haciendo paracaidismo o volteretas hacia atrás. Otros la mostraban discutiendo actos sexuales que supuestamente realizaba y disfrutaba.

Los estudiantes que le informaron sobre la cuenta creían genuinamente que era real. Tuvo que aclarar a sus propios estudiantes que la cuenta no era suya. Después de que les pidió que la denunciaran, TikTok eliminó la cuenta relativamente rápido.

La situación no terminó ahí. El estudiante considerado responsable comenzó a acosarla en persona, usando un lenguaje abusivo y escalando durante semanas. En una reunión de facultad, un colega reveló que había visto un video aparentemente generado por IA de él mismo siendo arrestado, el cual también atribuyó al mismo estudiante. La subdirectora reveló que el mismo estudiante los estaba contactando en medio de la noche y publicando imágenes generadas por IA de ellos en TikTok. El estudiante fue eventualmente retirado de su clase y más tarde dejó el distrito por completo.

Lo que dice la ley y lo que las escuelas no están obligadas a hacer

La abogada retirada de defensa laboral Donna Ballman dijo a WIRED que cuando un estudiante crea y comparte imágenes sexuales de un profesor, constituye un “caso claro” de acoso sexual en el lugar de trabajo. Bajo la ley federal antidiscriminación, los empleadores, incluidas las escuelas, están obligados a mantener un lugar de trabajo libre de acoso sexual. Eso podría significar disciplinar a un estudiante o trasladarlo a un aula diferente.

Ballman también señaló, sin embargo, que “no hay un plano” sobre cómo deben responder las escuelas. Los administradores ni siquiera están obligados a informar a un profesor victimizado sobre cómo se disciplinó a un estudiante. El estándar legal, como ella lo expresó, es simplemente que deben “crear un entorno seguro para la víctima”.

Por el lado de las plataformas, Snap proporcionó a WIRED sus políticas que prohíben compartir contenido generado por IA o manipulado utilizado para humillar o acosar sexualmente a otros, y señaló que ha establecido procesos de denuncia. TikTok no hizo comentarios antes de la publicación.

Publicar imágenes íntimas no consensuales, incluidas las generadas por IA, también puede violar la ley federal Take It Down Act, que criminaliza la difusión de dicho contenido en línea.

En resumen

Las herramientas de IA han hecho posible fabricar imágenes sexualizadas convincentes de personas reales utilizando nada más que fotos disponibles públicamente. Cuando esas herramientas llegan a los estudiantes, los educadores se vuelven vulnerables de una manera que las políticas escolares existentes y la moderación de plataformas aún no están equipadas para manejar de manera consistente. El marco legal existe en fragmentos: ley federal, protecciones contra el acoso laboral, políticas de plataforma. Pero como muestran estos casos, la brecha entre lo que la ley permite y lo que las escuelas realmente están obligadas a hacer deja a las víctimas navegando por un proceso incierto y a menudo re traumatizador. La tecnología se movió más rápido que las instituciones destinadas a regirla.

Basado en información de Wired.

Escrito por

NAVION