The Brief
Sociedade e ética 5 min de leitura

39 Milhões de Redações Depois, a IA Continua a Não Conseguir Substituir um Avaliador Humano

NAVION

Partilhar

Existe uma versão do ensino universitário em que um estudante submete uma redação, um algoritmo atribui uma pontuação e nenhum ser humano lê sequer uma palavra. Não é ficção científica. As ferramentas para que isso aconteça já existem, e algumas delas estão comercialmente disponíveis pelo menos desde 1998. A questão mais urgente não é saber se este cenário é tecnicamente possível. É saber se as universidades compreendem o que se perderia se ele se tornasse normal.

Uma Tecnologia Muito Mais Antiga do Que o Momento ChatGPT

A maioria do debate público sobre a IA na educação trata a tecnologia como algo que chegou recentemente, perturbando um sistema estável. A história é mais complicada. A editora educativa Pearson relata que os seus sistemas especializados e treinados já avaliaram 39 milhões de respostas, abrangendo redações, respostas curtas e equações. Isso não é um programa piloto. É um produto comercial maduro com um longo historial, desenvolvido muito antes de os grandes modelos de linguagem se tornarem nomes correntes.

O que mudou foi a acessibilidade. Durante a maior parte dessa história, a avaliação por IA era uma ferramenta especializada cara, inacessível a muitas instituições. Modelos disponíveis abertamente, como o ChatGPT e o Claude, alteraram essa equação. Um professor pode agora carregar uma redação juntamente com uma grelha de correção e receber uma pontuação e feedback em segundos, sem custos significativos. A barreira à adoção diminuiu drasticamente, ainda que a lógica subjacente da tecnologia não tenha mudado muito.

Vale a pena compreender claramente essa lógica. Estes modelos não avaliam o trabalho da maneira que um humano o faz. Preveem qual será provavelmente a nota, com base em padrões textuais comparados com grandes volumes de texto existente. Se o modelo tiver sido treinado com material semelhante à tarefa a ser avaliada, as suas previsões tendem a aproximar-se dos julgamentos humanos. Caso contrário, a discrepância aumenta. Esta é uma distinção fundamental: prever não é compreender.

Para Onde Aponta a Investigação

Um estudo realizado por investigadores da University of Melbourne e da Cardiff University examinou se versões posteriores do ChatGPT conseguiam replicar de forma fiável as pontuações de avaliadores humanos em 50 redações de biociências de licenciatura. As conclusões foram instrutivas. Houve algum alinhamento ao nível das notas globais das redações, mas os investigadores concluíram que não se podia confiar no ChatGPT para atribuir e explicar notas com precisão. O desempenho foi particularmente fraco em critérios de avaliação específicos, tais como a adequação do conteúdo e a qualidade das evidências de apoio. O modelo também tendeu, em média, a classificar as redações de forma mais alta do que os avaliadores humanos.

Esta deriva ascendente não é um erro no sentido convencional. Reflete a forma como a tecnologia funciona. Um sistema que prevê em vez de avaliar tenderá para resultados que parecem plausíveis e aceitáveis, o que em termos de classificação significa frequentemente ser generoso. Isso tem consequências reais para os padrões académicos e para o significado de uma nota.

As universidades australianas estão a lidar com isto cuidadosamente, embora nem sempre de forma transparente. A Deakin University proíbe os professores de carregar trabalhos de estudantes em ferramentas de IA disponíveis abertamente, invocando preocupações de privacidade relacionadas com o armazenamento de dados no estrangeiro e com os regulamentos de privacidade australianos. A University of Melbourne permite que os professores utilizem ferramentas de IA aprovadas para apoiar a sua avaliação do trabalho dos estudantes, mas proíbe explicitamente confiar apenas na IA para determinar notas ou classificações. O padrão entre instituições é consistente: a supervisão humana é obrigatória, e a responsabilidade pelos julgamentos permanece com a pessoa, e não com o sistema.

O Que Se Perde Quando o Humano Recua

Eis o que a maior parte da cobertura sobre a avaliação por IA deixa escapar. O debate tende a concentrar-se na precisão: conseguirá o algoritmo igualar a pontuação humana? Esse é o enquadramento errado. A avaliação não é apenas um exercício de medição. É uma relação.

A investigação sobre as perspetivas de estudantes e professores em relação ao feedback sugere que a IA pode criar distância entre ambos. Os estudantes que outrora poderiam ter abordado um explicador com uma dúvida recorrem agora primeiro à IA. Essa mudança é subtil, mas significativa. O feedback de um professor humano transporta um sinal que a pontuação de um algoritmo não consegue dar: diz ao estudante que a sua aprendizagem importa para outra pessoa.

Existe também um ciclo de feedback que funciona na direção oposta, do trabalho do estudante de volta para o professor. Se uma grande proporção de estudantes numa turma incompreender o mesmo conceito, um professor que corrija as suas redações irá dar por isso. Esse padrão torna-se uma oportunidade para melhorar a forma como a matéria é lecionada. Um algoritmo que processe as mesmas redações irá pontuá-las, mas não irá assinalar um problema sistémico de ensino.

A University of New South Wales testou uma abordagem diferente em algumas disciplinas, eliminando totalmente as notas numéricas e substituindo-as por avaliações de competências face a resultados definidos. A universidade descreve isto como uma mudança de foco em direção à aprendizagem dos estudantes. O projeto piloto não foi concebido como uma resposta à IA, mas aponta para uma questão mais ampla: se o objetivo da avaliação é a aprendizagem em vez da seriação, que papel deve qualquer sistema de avaliação, humano ou automatizado, desempenhar realmente?

Em Resumo

A avaliação por IA não é nova, e não vai desaparecer. O que é novo é a facilidade com que se tornou possível utilizá-la. As evidências disponíveis sugerem que as ferramentas de IA atuais não conseguem replicar de forma fiável o julgamento humano em trabalhos escritos complexos, particularmente ao nível de critérios específicos. As universidades estão a responder com políticas que mantêm os humanos responsáveis pelas notas finais. A questão mais profunda é que reduzir a avaliação a um problema de pontuação falha o propósito para o qual a avaliação serve realmente: compreender se a aprendizagem ocorreu e fortalecer a relação entre professor e estudante que torna a aprendizagem possível. A tecnologia pode apoiar esse processo. Não o pode substituir.

Com base em reportagem de The Conversation.

Lê o estudo original.

Escrito por

NAVION