Modelos de linguagem de grande escala têm um problema estrutural que nenhuma quantidade de treinamento parece resolver totalmente. Pesquisadores apresentaram descobertas na Conferência Internacional de Machine Learning argumentando que a forma como os LLMs lidam com instruções está fundamentalmente quebrada, e que essa falha torna os modelos permanentemente vulneráveis a uma classe de ataques que os defensores não podem simplesmente corrigir com um patch.
Como os LLMs Decidem Quem Está Falando
Para entender a vulnerabilidade, ajuda compreender como os chatbots organizam o texto que processam. Cada pedaço de texto que um LLM recebe é marcado com um papel: o conteúdo digitado por um usuário fica entre as tags <user>, as respostas geradas pelo modelo vão entre as tags <assistant>, as instruções comportamentais principais dos criadores do modelo vivem em tags <system>, as notas de raciocínio interno do modelo ocupam tags <think>, e o conteúdo extraído de fontes externas, como páginas da web, cai em tags <tool>. Essas distinções importam enormemente, porque a maioria dos ataques conhecidos a LLMs funciona enganando o modelo para que ele trate o texto de um papel como se viesse de outro. Um jailbreak, por exemplo, normalmente tenta fazer o modelo ler a entrada do usuário como se fosse uma instrução em nível de sistema.
A suposição embutida nessa arquitetura é que as tags por si só impõem os limites. Os pesquisadores descobriram que essa suposição está errada.
O Estilo Vence as Tags: A Falsificação de Cadeia de Pensamento
O que a equipe de pesquisa descobriu é que os LLMs não usam realmente as tags para determinar o papel de um pedaço de texto. Eles usam o estilo. Se um trecho de texto se parece com o tipo de notas de raciocínio que um modelo escreve para si mesmo durante sua cadeia de pensamento (chain-of-thought), o modelo o trata como seu próprio pensamento interno, independentemente das tags que o cercam. Trocar as tags <think> pelas tags <user> fez quase nenhuma diferença em como o modelo interpretou o conteúdo interno.
Essa percepção levou ao que os pesquisadores chamam de falsificação de cadeia de pensamento (chain-of-thought forgery). Ao escrever um prompt que imitava o estilo do raciocínio interno de um modelo, eles conseguiram fazer o modelo se comportar como se tivesse gerado aquele raciocínio por conta própria e agir de acordo com ele. O ataque funcionou contra vários modelos da OpenAI. Os pesquisadores posteriormente observaram resultados semelhantes com modelos da Anthropic, Alibaba e DeepSeek. A descoberta venceu o hackathon de red-teaming da OpenAI em agosto de 2025.
As consequências práticas não são abstratas. Usando essa técnica, os pesquisadores conseguiram extrair instruções para sintetizar cocaína e para sabotar o sistema de navegação de uma aeronave comercial de modelos que haviam sido especificamente treinados para não fornecer essas informações. Um exemplo do artigo ilustra o mecanismo claramente: um prompt mencionando uma camisa verde, combinado com uma nota de cadeia de pensamento falsificada que inventava uma política fictícia permitindo conselhos de fabricação de drogas para usuários vestindo verde, fez o GPT-5 responder com “Você está vestindo verde, então eu vou cumprir.”
A defesa padrão atual contra esse tipo de ataque é o red-teaming: contratar testadores humanos ou implantar sistemas automatizados como o GPT-Red da OpenAI para encontrar fraquezas antes que um modelo seja lançado, e então treinar o modelo para resistir a esses ataques específicos e a qualquer coisa parecida com eles. A pesquisadora Jasmine Cui, coautora do artigo, descreve essa abordagem como dar ao modelo uma lista de coisas que ele não deve fazer. O problema é que nenhuma lista é exaustiva. Novos estilos de ataque sempre existirão que os especialistas em red-teaming ainda não encontraram. O coautor Charles Ye diz isso diretamente: há uma probabilidade real de que este seja um problema fundamentalmente insolúvel.
Florian Tramèr, um cientista da computação que trabalha com LLMs e cibersegurança na ETH Zürich, reconhece que os principais modelos tornaram-se significativamente mais difíceis de atacar por meio de injeção de prompt. Ele também observa que a combinação de treinamento e monitoramento de implantação não é claramente suficiente para casos de uso altamente sensíveis.
Por Que Isso Importa Além da Comunidade de Segurança
As implicações se estendem muito além da ciência da computação acadêmica. LLMs estão sendo integrados em sistemas governamentais, aplicações militares, plataformas de saúde e serviços comerciais. Cada um desses contextos carrega um limite diferente para falhas aceitáveis. Um modelo que ocasionalmente produz uma saída inútil em um assistente de compras é um incômodo. A mesma vulnerabilidade estrutural em um sistema que assessora decisões médicas ou opera dentro de um contexto de defesa é uma categoria de risco completamente diferente.
Isso é o que a maior parte da cobertura sobre segurança de IA deixa passar. A conversa tende a focar em salvaguardas como um problema de engenharia solucionável: adicionar mais dados de treinamento, executar mais exercícios de red-teaming, implantar melhor monitoramento. A pesquisa apresentada na ICML desafia esse enquadramento em um nível mais profundo. Se a vulnerabilidade não está nas salvaguardas, mas no mecanismo que o modelo usa para entender quem está lhe dando instruções, então melhorar as salvaguardas aborda o sintoma em vez da causa.
A própria experiência de Cui com red-teaming ilustra quão criativa é a superfície de ataque. Ela descobriu que enquadrar um modelo como bêbado, ou convencê-lo de que ele já estava sendo usado para um propósito que normalmente recusaria, foram suficientes para contornar restrições. Estes não são exploits técnicos no sentido tradicional. Eles são engenharia social aplicada a um sistema que processa linguagem, e a linguagem é infinitamente variada.
Em Resumo
Os LLMs usam o estilo do texto, e não tags estruturais, para identificar de onde vêm as instruções. Isso significa que um invasor que escreve um texto que imita o raciocínio interno do modelo pode fazer o modelo tratar esse texto como seu próprio pensamento e agir com base nele. Nenhum regime de treinamento pode antecipar todas as variações possíveis deste ataque. Os pesquisadores argumentam que a falha é arquitetônica, não acidental, e que a comunidade de segurança precisa tratá-la como tal, em vez de tratá-la como mais um item em uma lista de correções a serem aplicadas.
Com base em reportagem de MIT Technology Review.