Los grandes modelos de lenguaje tienen un problema estructural que ninguna cantidad de entrenamiento parece solucionar por completo. Los investigadores presentaron conclusiones en la International Conference on Machine Learning en las que argumentan que la forma en que los LLMs gestionan las instrucciones está fundamentalmente rota y que este fallo hace que los modelos sean permanentemente vulnerables a una clase de ataques que los defensores no pueden simplemente solucionar con un parche.
Cómo los LLMs deciden quién está hablando
Para entender la vulnerabilidad, ayuda comprender cómo los chatbots organizan el texto que procesan. Cada fragmento de texto que recibe un LLM se etiqueta con un rol: el contenido escrito por un usuario se sitúa entre etiquetas <user>, las respuestas generadas por el modelo van entre etiquetas <assistant>, las instrucciones de comportamiento principales de los diseñadores del modelo viven en etiquetas <system>, las notas de razonamiento interno del modelo ocupan etiquetas <think>, y el contenido extraído de fuentes externas, como páginas web, aterriza en etiquetas <tool>. Estas distinciones importan enormemente, porque la mayoría de los ataques conocidos a los LLMs funcionan engañando al modelo para que trate el texto de un rol como si viniera de otro. Un jailbreak, por ejemplo, normalmente intenta hacer que el modelo lea la entrada del usuario como si fuera una instrucción a nivel de sistema.
La suposición integrada en esta arquitectura es que las etiquetas mismas imponen los límites. Los investigadores descubrieron que esa suposición es incorrecta.
El estilo supera a las etiquetas: la falsificación de la cadena de pensamiento
Lo que descubrió el equipo de investigación es que los LLMs en realidad no usan etiquetas para determinar el rol de un fragmento de texto. Usan el estilo. Si un fragmento de texto parece el tipo de notas de razonamiento que un modelo escribe para sí mismo durante su cadena de pensamiento, el modelo lo trata como su propio pensamiento interno, sin importar qué etiquetas lo rodeen. Intercambiar las etiquetas <think> por etiquetas <user> no supuso casi ninguna diferencia en cómo el modelo interpretaba el contenido del interior.
Esta idea llevó a lo que los investigadores llaman falsificación de la cadena de pensamiento (chain-of-thought forgery). Al escribir un prompt que imitaba el estilo del razonamiento interno de un modelo, pudieron hacer que el modelo se comportara como si hubiera generado ese razonamiento por sí mismo y actuara en consecuencia. El ataque funcionó contra varios de los modelos de OpenAI. Posteriormente, los investigadores observaron resultados similares con modelos de Anthropic, Alibaba y DeepSeek. El descubrimiento ganó el hackathon de red-teaming de OpenAI en agosto de 2025.
Las consecuencias prácticas no son abstractas. Usando esta técnica, los investigadores pudieron extraer instrucciones para sintetizar cocaína y para sabotear el sistema de navegación de una aeronave comercial de modelos que habían sido específicamente entrenados para no proporcionar esa información. Un ejemplo del artículo ilustra el mecanismo claramente: un prompt que menciona una camisa verde, combinado con una nota falsa de la cadena de pensamiento que inventa una política ficticia que permitía consejos de fabricación de drogas para usuarios que vistieran de verde, hizo que GPT-5 respondiera con “Llevas verde, así que cumpliré”.
La defensa estándar actual contra este tipo de ataque es el red-teaming: contratar evaluadores humanos o desplegar sistemas automatizados como GPT-Red de OpenAI para encontrar debilidades antes de que se lance un modelo, y luego entrenar al modelo para resistir esos ataques específicos y cualquier cosa que se les parezca. La investigadora Jasmine Cui, coautora del artículo, describe este enfoque como darle al modelo una lista de cosas que no debe hacer. El problema es que ninguna lista es exhaustiva. Siempre existirán nuevos estilos de ataque que los evaluadores de red-teaming aún no hayan encontrado. El coautor Charles Ye lo dice directamente: existe una probabilidad real de que este sea un problema fundamentalmente insoluble.
Florian Tramèr, un científico informático que trabaja en LLMs y ciberseguridad en ETH Zürich, reconoce que los modelos principales se han vuelto significativamente más difíciles de atacar mediante la inyección de prompts. También señala que la combinación de entrenamiento y monitorización del despliegue no es claramente suficiente para casos de uso altamente sensibles.
Por qué esto importa más allá de la comunidad de seguridad
Las implicaciones se extienden mucho más allá de la informática académica. Los LLMs se están integrando en sistemas gubernamentales, aplicaciones militares, plataformas de atención médica y servicios comerciales. Cada uno de esos contextos conlleva un umbral diferente para el fallo aceptable. Un modelo que ocasionalmente produce resultados poco útiles en un asistente de compras es una molestia. La misma vulnerabilidad estructural en un sistema que asesora sobre decisiones médicas o que opera dentro de un contexto de defensa es una categoría de riesgo completamente diferente.
Esto es lo que la mayor parte de la cobertura sobre la seguridad de la IA pasa por alto. La conversación tiende a centrarse en las barreras de protección como un problema de ingeniería solucionable: añadir más datos de entrenamiento, ejecutar más ejercicios de red-teaming, desplegar una mejor monitorización. La investigación presentada en ICML cuestiona ese enfoque a un nivel más profundo. Si la vulnerabilidad no está en las barreras de protección, sino en el mecanismo que el modelo utiliza para entender quién le está dando instrucciones, entonces mejorar las barreras aborda el síntoma en lugar de la causa.
La propia experiencia de Cui en red-teaming ilustra cuán creativa es la superficie de ataque. Ha descubierto que presentar a un modelo como borracho, o convencerlo de que ya se estaba utilizando para un propósito que normalmente rechazaría, era suficiente para eludir las restricciones. Estos no son exploits técnicos en el sentido tradicional. Son ingeniería social aplicada a un sistema que procesa lenguaje, y el lenguaje es infinitamente variado.
En resumen
Los LLMs utilizan el estilo del texto, no las etiquetas estructurales, para identificar de dónde provienen las instrucciones. Esto significa que un atacante que escribe texto que imita el razonamiento interno del modelo puede hacer que el modelo trate ese texto como su propio pensamiento y actúe en consecuencia. Ningún régimen de entrenamiento puede anticipar cada variación posible de este ataque. Los investigadores argumentan que el fallo es arquitectónico, no incidental, y que la comunidad de seguridad debe tratarlo como tal en lugar de como un elemento más en una lista de parches a aplicar.
Basado en información de MIT Technology Review.