Um estudo envolvendo mais de 1.600 adultos produziu um resultado que vai na contramão de uma das premissas mais comuns no debate atual sobre inteligência artificial e trabalho criativo: a de que a escrita gerada por IA é obviamente inferior e que as pessoas conseguem identificá-la facilmente. Os dados sugerem que nenhuma das duas coisas é verdade.
O Que os Números Realmente Mostram
Os pesquisadores Sydney Sears e Deena Weisberg, da Villanova University na Pensilvânia, desenharam um experimento cuidadoso. Eles recrutaram 1.682 adultos, selecionados para refletir a população dos EUA em termos de gênero, idade e raça, e pediram a cada participante que leixesse uma única história. Metade leu uma história escrita por um humano, extraída de uma revista literária. A outra metade leu uma história gerada pelo ChatGPT 4.0.
Cada grupo foi então dividido novamente. Alguns participantes receberam a verdade sobre o que haviam lido. A outros foi dito o oposto. Esse desenho permitiu aos pesquisadores separar duas questões distintas: quão boa é a escrita e quanto o rótulo importa?
As pontuações de qualidade, medidas em uma escala de -3 a 3, contaram uma história clara. Os participantes que leram histórias geradas por IA avaliaram-nas com uma média de 1,54. Aqueles que leram histórias escritas por humanos deram uma pontuação média de 0,97. As histórias de IA também pontuaram mais em quão envolventes pareciam: 1,42 versus 1,00 para o trabalho escrito por humanos. Um padrão adicional emergiu em todas as condições: as histórias foram avaliadas um pouco melhor quando os participantes acreditavam que um humano as havia escrito, independentemente da fonte real.
O Problema da Identificação
Os pesquisadores realizaram outros dois estudos para testar se as pessoas conseguiam distinguir de forma confiável a produção de IA da escrita humana. No primeiro, apenas 39 por cento dos participantes identificaram corretamente qual história era qual. No segundo, realizado vários meses depois, 52 por cento acertaram. Os pesquisadores observam que não têm uma explicação definitiva para a lacuna entre os dois resultados, embora sugiram que a sociedade pode estar se adaptando gradualmente para reconhecer conteúdo gerado por IA. De qualquer forma, o desempenho em ambos os testes fica próximo do que se esperaria de adivinhações aleatórias.
Isso é o que a maior parte da cobertura sobre escrita de IA tende a ignorar. O debate frequentemente assume uma divisão perceptual clara entre a produção humana e a de máquina, uma divisão que os leitores conseguem navegar intuitivamente. Esses resultados desafiam essa premissa diretamente.
Claire Hardaker, da Lancaster University, aponta para um desconforto mais amplo em jogo aqui. Sua própria pesquisa sobre a capacidade das pessoas de identificar fala, texto e música gerados por IA descobriu que a música provoca a reação emocional mais forte quando as pessoas descobrem que foram enganadas. O domínio criativo, em outras palavras, não é apenas uma questão técnica. Ele toca em algo com o qual as pessoas se sentem protetoras.
Rodney Jones, da University of Reading, oferece uma explicação mais estrutural para o fato de a escrita de IA ter pontuado mais neste estudo em particular. As histórias humanas foram extraídas de uma revista literária, um gênero que tende à complexidade e exige mais esforço do leitor. A IA, solicitada a produzir histórias com traços semelhantes, provavelmente recorreu por padrão a algo mais acessível e fácil de processar. Jones coloca de forma clara: a escrita literária não é muito popular porque dá muito trabalho. As pessoas tendem a preferir conteúdo que flui sem atrito.
O Que Isso Significa Além do Experimento
A constatação de que as pessoas preferem a escrita de IA, pelo menos neste contexto, não resolve a questão maior sobre o que a criatividade da IA realmente é ou qual é o seu valor. A própria Weisberg faz uma distinção. Ela descreve a produção de IA como mais “sem graça” do que a escrita humana e atribui a lacuna de qualidade nas pontuações a essa acessibilidade, e não a qualquer conquista artística mais profunda. Ela planeja futuros experimentos em diferentes tipos de escrita para testar se o padrão se mantém.
Sua visão mais ampla vale a pena ser considerada. Ela argumenta que a IA será capaz de produzir trabalhos com genuíno valor artístico, mas que esse valor pode precisar ser medido em uma escala diferente daquela aplicada à criatividade humana. As duas coisas não são a mesma, mesmo que possam produzir resultados difíceis de distinguir.
Esta é a tensão que o estudo traz à tona sem resolvê-la totalmente. A resistência cultural à arte gerada por IA é real e documentada. O estudo em si observa que um conto premiado com o Commonwealth prize e publicado na Granta foi acusado por alguns de ser gerado por IA, algo que o concurso proibia explicitamente, embora uma investigação tenha sido inconclusiva. Artistas levantaram objeções à aparição de arte gerada por IA em grandes casas de leilões, argumentando que os models treinados em imagens existentes representam uma forma de uso não autorizado do trabalho humano.
Essas preocupações não são abordadas por pontuações de preferência. As pessoas podem simultaneamente preferir algo e se opor a como foi feito. O experimento mede uma coisa: como os leitores respondem ao texto isoladamente, sem saber sua origem. Ele não mede se essa preferência sobreviveria à transparência total, ou se se manteria em diferentes gêneros, comprimentos e contextos.
Em Resumo
A maioria das pessoas neste estudo avaliou as histórias geradas por IA com notas mais altas do que as escritas por humanos, e menos da metade conseguiu identificar corretamente qual era qual. A preferência parece estar ligada à legibilidade em vez da profundidade. A escrita de IA tende a ser mais fluida e fácil de processar, o que pontua bem em testes de formato curto, mas pode não se traduzir em todos os tipos de trabalho criativo. A questão mais profunda — o que significa para a criatividade humana quando as máquinas podem produzir resultados indistinguíveis em escala — permanece genuinamente em aberto.
Com base em reportagem de New Scientist.