Cada chatbot, cada tradutor de IA, cada modelo de linguagem de grande dimensão capaz de manter uma conversa ou resolver um problema matemático tem origem numa única intuição matemática desenvolvida em 2014 por um estagiário bielorrusso de 23 anos num laboratório da Universidade de Montreal. O seu nome era Dzmitry Bahdanau. Ele ainda não era um investigador académico. Programava em regime de competição desde a infância. E o mecanismo que ajudou a criar, a que ele e os seus colaboradores chamaram “atenção”, tornou-se a base concetual de toda a era da IA moderna.
Compreender o que a atenção faz realmente, e porque é importante, não é um luxo técnico. É a chave para compreender porque é que os sistemas de IA conseguem fazer o que fazem, e de onde vêm genuinamente as suas capacidades.
O Problema Que a Atenção Resolveu
Antes da atenção, as redes neurais que tentavam a tradução enfrentavam uma restrição estrutural. Cada frase, independentemente do comprimento ou da complexidade, tinha de ser comprimida numa quantidade fixa de memória antes de a rede poder começar a produzir resultados na língua de chegada. Quanto mais longa era a frase, mais informação se perdia nessa compressão. O desempenho degradava-se de forma previsível à medida que as frases cresciam.
A intuição de Bahdanau foi dar à rede um tipo diferente de acesso ao texto de origem. Em vez de forçar toda a informação através de um único gargalo, a rede podia, em cada passo da geração de uma palavra traduzida, olhar para trás ao longo de toda a frase de origem e identificar que palavras eram mais relevantes para a palavra que estava a produzir no momento. Ele descreveu o processo como análogo à forma como ele próprio aprendeu a traduzir na escola: olhar de relance para a esquerda e para a direita entre o texto de origem e o de chegada, consultando constantemente o contexto. Ele exprimiu esse processo físico e cognitivo como uma operação matemática.
O resultado funcionou de imediato. Desde a primeira tentativa, tal como Bahdanau recordou, a abordagem permitiu às redes neurais lidar com frases longas de forma tão eficaz como com frases curtas. Essa escalabilidade foi o avanço decisivo.
Da Atenção aos Transformers: O Salto de 2017
Outros investigadores incorporaram rapidamente a atenção nos seus próprios designs de redes neurais. Depois, em 2017, uma equipa da Google levou o mecanismo mais longe. Construiu uma nova arquitetura chamada transformer, que potenciou a atenção e eliminou os outros componentes de que os modelos anteriores dependiam. O seu artigo, intitulado “Attention Is All You Need”, demonstrou que os transformers alcançavam resultados de tradução de última geração, exigindo substancialmente menos computação do que as abordagens anteriores. Desde então, o artigo já foi citado mais de 250.000 vezes. Os grandes modelos de linguagem, incluindo o ChatGPT e o Claude, são descendentes diretos dessa arquitetura.
Para compreender o que um transformer faz realmente: quando uma frase entra na rede, cada palavra é convertida numa representação numérica chamada vetor. Estes vetores passam por várias camadas da rede. Em cada camada, uma operação matemática chamada cabeça de atenção compara o vetor de cada palavra com os vetores de todas as outras palavras na frase, calculando com que intensidade cada palavra deve influenciar a representação de todas as outras. O resultado é que o contexto fica codificado diretamente na representação numérica de cada palavra. A palavra “ele” numa frase não transporta um significado fixo; a sua representação muda consoante o que a rodeia.
Considera a frase “O animal não atravessou a rua porque estava demasiado cansado.” Para traduzir isto corretamente para inglês, um modelo tem de determinar se “it” se refere ao animal ou à rua, porque as duas palavras exigem pronomes diferentes em inglês. O mecanismo de atenção permite à rede navegar pela frase completa, identificar que “animal” é o referente mais plausível para “it” neste contexto e incorporar essa informação na tradução. Uma segunda frase, “O animal não atravessou a rua porque estava demasiado larga”, exige a conclusão oposta. O mesmo mecanismo, aplicado a um contexto diferente, produz um resultado diferente.
Várias cabeças de atenção funcionam em paralelo, cada uma captando potencialmente diferentes tipos de relações entre palavras. Camadas sucessivas constroem representações cada vez mais ricas e sensíveis ao contexto. A rede não está a consultar regras. Está a converter relações em matemática.
Porque É Que Isto Importa Além da Tradução
Eis o que a maior parte da cobertura sobre IA tende a omitir: a razão pela qual a atenção se tornou a base da IA de uso geral não é ter sido concebida para ser de uso geral. Foi concebida para resolver um problema específico e bem definido, que era a tradução automática. O facto de o mesmo mecanismo se ter revelado a base de sistemas capazes de diagnosticar doenças, gerar vídeo, resolver problemas matemáticos e manter conversas prolongadas levanta uma questão genuinamente importante: estará a atenção a captar algo fundamental sobre a forma como a inteligência, artificial ou outra, processa o significado?
A resposta honesta é que os investigadores ainda não têm uma explicação completa. O que é evidente é que a capacidade de ponderar dinamicamente o contexto, de tratar o significado de qualquer elemento como uma função da sua relação com tudo o resto à sua volta, é extraordinariamente poderosa. A linguagem funciona assim. E grande parte do raciocínio humano também.
Para qualquer pessoa que tente compreender os sistemas de IA, seja como profissional que trabalha lado a lado com eles ou como cidadão que navega num mundo cada vez mais moldado por eles, este é o mecanismo que vale a pena compreender. Não os nomes dos produtos. Não as pontuações dos benchmarks. A operação de atenção é onde a capacidade reside realmente.
Em Resumo
A atenção é um método matemático que permite a uma rede neurónica determinar, em cada passo da produção de resultados, que partes da sua entrada são mais relevantes. Desenvolvida em 2014 por Dzmitry Bahdanau, Yoshua Bengio e Kyunghyun Cho para melhorar a tradução automática, tornou-se o núcleo da arquitetura transformer depois de um artigo da Google de 2017 ter demonstrado o seu poder mais abrangente. Todos os principais grandes modelos de linguagem em uso atualmente assentam nesta base. Compreender a atenção não é um detalhe técnico: é a chave concetual para compreender o que os sistemas de IA modernos estão realmente a fazer.
Com base em reportagem de Quanta Magazine.
Leia o estudo original.