The Brief
Como funciona a IA 6 min de leitura

A cada quatro meses, a duração das tarefas de IA duplicava. E quanto ao discernimento?

NAVION

Partilhar

O gráfico mais partilhado sobre IA mede algo restrito e fácil de interpretar mal: quanto tempo demora um modelo, cronometrado por humanos, a concluir com sucesso uma tarefa. A organização sem fins lucrativos METR atualizou agora esse gráfico, e a revisão importa menos pela linha de tendência que prolonga do que pelas fragilidades que acaba por expor. Os modelos continuam a melhorar a um ritmo acelerado. Nas tarefas que exigem discernimento, não estão a acompanhar esse passo.

O que o gráfico original media realmente

O método da METR era simples em conceito e fácil de deturpar ao ser contado. Os modelos tentavam resolver um vasto conjunto de tarefas, cada uma das quais também tinha sido concluída por humanos. Cada tarefa era pontuada com base no tempo que os testadores humanos precisavam para a terminar. Os modelos eram depois classificados pela duração das tarefas que conseguiam concluir.

A principal conclusão era impressionante: a cada quatro meses, a duração das tarefas que os modelos de fronteira conseguiam concluir com sucesso duplicava. Mas a métrica era subtil, e o gráfico foi amplamente mal interpretado. Uma linha num gráfico sobre “duração de tarefas” não é uma linha sobre inteligência geral, e muitas pessoas interpretavam-na como tal.

Havia também uma limitação mais silenciosa. O conjunto original apoiava-se em tarefas verificáveis,quelas em que o software consegue verificar automaticamente se a IA teve sucesso ou falhou. Isso não é um acaso. É o tipo de tarefa para o qual sabemos como treinar.

Porque é que as tarefas verificáveis são a parte fácil

A receita de treino é bem compreendida. Os investigadores fazem com que um sistema tente realizar uma tarefa muitas vezes, fortalecem as vias neuronais que contribuem para o sucesso e enfraquecem aquelas que contribuem para o fracasso. Trata-se de aprendizagem por reforço, e funciona melhor quando o “sucesso” pode ser verificado por uma máquina. É por essa razão que a programação e a matemática se tornaram pontos fortes da IA: um programa executa ou não executa, uma demonstração é válida ou não é.

Pensa agora em escolher uma nova direção de investigação. O sucesso é difuso, e pode demorar muito tempo até sabermos se a escolha foi boa. A mesma propriedade que torna estas tarefas difíceis de treinar torna-as difíceis de avaliar, razão pela qual o primeiro gráfico da METR as deixou totalmente de fora.

No entanto, esta é exatamente a categoria que importa se os sistemas de IA vierem algum dia a automatizar a investigação e o desenvolvimento. O gráfico atualizado adiciona tarefas cuja conclusão pelos humanos deverá demorar muito mais tempo, além de outras mais abertas.

Onde os modelos ficam aquém

Numa nova tarefa, foi pedido aos modelos que desenhassem novas avaliações de IA que a METR pudesse utilizar na sua própria investigação, com funcionários humanos da METR a pontuar os resultados. Os modelos mais avançados são agora melhores do que quase todos os humanos em engenharia de software, mas aqui o resultado foi claro: nem uma única avaliação desenhada por IA teve qualidade suficiente para a equipa da METR a considerar útil.

Noutra tarefa, os modelos pontuaram argumentos filosóficos, uma forma de testar o exercício de um bom discernimento. Mais uma vez, os modelos ficaram aquém do desempenho humano. A própria METR nota que os seus funcionários discordam sobre quão relevante esta tarefa é para automatizar a I&D de IA, o que serve de lembrete útil sobre quão indefinida a questão da medição ainda é.

Há, contudo, um pormenor encorajador. Alguns dos modelos mais recentes, como o Opus 5.5, tendem a atingir aquilo a que a METR chama “limiarmente acima da fasquia” nas tarefas de conceção de avaliações. Isso ainda não é utilizable para a investigação da METR, mas há um ano todos os modelos pontuavam “claramente abaixo da fasquia”.

As ressalvas são substanciais. Os tempos de conclusão no novo relatório são maioritariamente estimativas, uma vez que pagar a pessoas para realizarem tarefas que podem demorar centenas de horas, ou que apenas alguns peritos conseguem fazer, é financeiramente proibitivo. Na tarefa filosófica, uma única pessoa avaliou a maioria dos argumentos, pelo que os modelos foram julgados pela forma como concordavam com esse indivíduo. E a METR inclui poucas destas tarefas no geral, porque são muito difíceis de conceber, pontuar e cronometrar.

Porque é que o debate não está resolvido

Esta é a parte que a maioria das notícias ignora: o relatório não resolve a grande questão, e os peritos citados nele dizem-no abertamente. Sayash Kapoor, cientista computacional e futuro professor na UC Berkeley, acolhe com agrado o impulso rumo a avaliações mais criativas. Não ficou surpreendido com o défice no trabalho aberto, apontando para uma preimpressão de agosto em que ele e os seus colaboradores descobriram que os modelos de IA ainda não conseguem reproduzir investigação humana em ciência computacional por conta própria. Ele suspeita que o instinto de investigação, a capacidade de escolher perguntas, hipóteses e experiências promissoras, se revelará um obstáculo importante.

Outros argumentam o oposto: que os modelos treinados em tarefas fáceis de verificar acabarão por lidar também com as tarefas abertas. O progresso nas tarefas verificáveis não parece estar a abrandar, o que mantém essa possibilidade em aberto. Najoung Kim, da Universidade de Boston, afirma que a melhoria observada nos diz algo sobre o momento atual, mas não tem a certeza de como o extrapolar. Matt Putz, da METR, acrescenta que é improvável que as tendências para tarefas que exigem discernimento venham a ser tão limpas e robustas como as relativas às tarefas fáceis de especificar.

A fasquia alta explica a atenção. Um outro relatório da METR, fortemente censurado e publicado no início deste mês, alegava que a IA poderá estar a acelerar o progresso da IA na Anthropic por um fator de dois, o que alimentou receios sobre a auto-melhoria recursiva, em que os sistemas de IA desenham os seus próprios sucessores sem intervenção humana. As novas conclusões chocam com esse receio: precisamente as competências que tornariam esse ciclo possível, o instinto e o discernimento, são aquelas em que os modelos continuam a ficar para trás.

O que isto significa além do gráfico

Uma única linha de tendência não consegue descrever uma tecnologia com pontos fortes desiguais. A lição prática é perguntar sobre que tipo de tarefa recai uma afirmação. Onde o sucesso pode ser verificado automaticamente, a capacidade da IA está a avançar rapidamente. Onde o sucesso depende do discernimento, do contexto e de ciclos de feedback longos, o cenário é mais difuso e as ferramentas de medição são ainda imaturas.

Isso também reformula o papel humano. As tarefas onde os modelos continuam a ter dificuldades, escolher o que vale a pena investigar e decidir o que conta como bom, são aquelas em que o discernimento humano está mais visivelmente presente. As ferramentas que lidam bem com volume e trabalho verificável podem libertar as pessoas para passarem mais tempo exatamente nisso.

Em suma

O gráfico atualizado do horizonte temporal da METR confirma que a IA continua a melhorar rapidamente em tarefas verificáveis, ao mesmo tempo que mostra que os modelos continuam a ficar aquém em trabalhos que exigem forte discernimento, como desenhar avaliações úteis ou pontuar argumentos filosóficos. Os modelos mais recentes estão a aproximar-se, mas a evidência é escassa porque essas tarefas são difíceis de conceber, pontuar e cronometrar. Os peritos discordam sobre se a competência adquirida em tarefas fáceis de verificar acabará por ser transferível, pelo que a leitura honesta é que a questão está em aberto, por responder. Trata qualquer gráfico individual sobre o progresso da IA como a medição de um único aspeto restrito, e pergunta o que é que ele deixa de fora.

Com base em reportagem de MIT Technology Review.

Lê o estudo original.

Escrito por

NAVION