Um estudo publicado na Nature Medicine por pesquisadores do MIT, da Stanford University e da Columbia University chega a uma conclusão que vai contra uma premissa comum na IA médica: a de que melhores explicações tornam as ferramentas de IA mais úteis para todos. A pesquisa mostra que o oposto pode ser verdade. O mesmo recurso de explicabilidade que ajuda um médico pode enganar um não especialista, e o mesmo sistema de IA que melhora a precisão diagnóstica em um grupo pode aprofundar erros em outro.
Por que as Explicações Não Funcionam da Mesma Forma para Todos
O estudo testou dois grupos: não especialistas e profissionais de atenção primária, ambos solicitados a diagnosticar doenças de pele usando imagens médicas, com e sem assistência de IA. As ferramentas de IA variavam na forma como explicavam suas previsões. Algumas forneciam um nível de confiança sem maiores explicações. Outras usavam mapas de calor para destacar regiões relevantes da imagem. Outras ainda usavam LLMs para gerar explicações em linguagem simples sobre o raciocínio do modelo.
Os não especialistas melhoraram sua precisão diagnóstica em todas as abordagens de IA explicável. Mas a melhoria veio acompanhada de um porém. Ela foi impulsionada principalmente pela deferência: os usuários estavam seguindo a IA em vez de raciocinar junto com ela. Quando o modelo errava, os não especialistas tendiam a segui-lo em direção à resposta errada. O efeito foi mais forte com explicações baseadas em LLM. Os usuários ficavam mais confiantes em suas respostas incorretas quando um LLM explicava o raciocínio, e achavam explicações vagas ou genéricas mais convincentes, e não menos.
Os médicos se comportaram de maneira diferente. Eles foram resilientes a saídas incorretas da IA e tiveram melhor desempenho quando receberam apenas a previsão do modelo, sem nenhuma explicação acompanhante. De todos os métodos testados, as explicações de LLM impulsionaram menos a precisão dos médicos.
Orson Xu, autor principal e professor assistente de ciência de dados biomédicos na Columbia University, descreve a dinâmica com clareza: um médico já tem um diagnóstico de trabalho e usa a IA como uma verificação de seu próprio treinamento, de modo que uma explicação falha é detectada. Um não especialista, sem essa base, usa a explicação para formar uma opinião desde o início. A mesma ferramenta se torna um trunfo para um usuário e um passivo para o outro.
O Efeito de Deferência e O Que o Impulsiona
Os pesquisadores identificaram um padrão que chamam de efeito de deferência: os usuários que confiaram mais pesadamente na assistência de IA também foram os que tiveram o pior desempenho ao trabalhar sem ela. Isso não é coincidência. Reflete como o viés de automação opera. Quando um sistema apresenta uma explicação confiante e coerente, os usuários se ancoram nela, mesmo quando a previsão subjacente está errada.
O timing também importa. O estudo descobriu que apresentar uma explicação da IA antes que o usuário tenha formado sua própria hipótese aumenta a deferência. Os usuários que viram o raciocínio da IA primeiro tornaram-se mais propensos a segui-lo sem senso crítico. Isso sugere que a sequência em que a informação é entregue, e não apenas seu conteúdo, molda a forma como as pessoas raciocinam.
Houve também descobertas sobre justiça. Quando os pesquisadores usaram um modelo com restrição de justiça projetado para reduzir o viés contra tons de pele mais escuros, o sistema melhorou significativamente a precisão e reduziu as disparidades diagnósticas com base no tom de pele. Isso aponta para uma dimensão de design que vai além da precisão isolada: quem se beneficia da assistência de IA e sob quais condições é moldado pela forma como o modelo é construído.
Marzyeh Ghassemi, professora associada do Departamento de Engenharia Elétrica e Ciência da Computação do MIT e investigadora principal no Laboratory for Information and Decision Systems, enquadra a tensão central: a assistência de IA pode melhorar o desempenho em ambientes de saúde, mas esse benefício precisa ser pesado contra o risco de a deferência algorítmica levar a mais erros. Tanto os sistemas de IA quanto os métodos de explicabilidade podem engajar o viés de automação, e esse efeito de ancoragem precisa ser levado em conta no design.
O Que Isso Significa Além da Dermatologia
Esta pesquisa importa além do diagnóstico de doenças de pele. Ela traz à tona um problema estrutural na forma como a IA médica é frequentemente implementada: as ferramentas são avaliadas com base no desempenho médio entre usuários, mas as pessoas que têm mais a ganhar com a assistência de IA são frequentemente as mais vulneráveis a serem enganadas por ela.
Roxana Daneshjou, coautora e professora assistente de ciência de dados biomédicos e dermatologia na Stanford University, coloca de forma direta: aqueles com menor conhecimento médico são os mais propensos a serem desencaminhados quando um modelo de IA explicável produz uma saída errônea. Este não é um caso limite marginal. Os não especialistas usam cada vez mais ferramentas alimentadas por IA para avaliar sua própria saúde, e várias interfaces de IA aprovadas pelo FDA já estão em uso para ajudar médicos a identificar condições de pele em imagens médicas.
A implicação para o design é concreta. Em vez de gerar explicações de LLM mais detalhadas, os pesquisadores sugerem uma abordagem diferente: exigir que os usuários formem uma hipótese diagnóstica primeiro, e então apresentar a sugestão da IA como um estímulo para considerar outras possibilidades. O objetivo é usar a IA para expandir o pensamento, não para substituí-lo. Como nota Ghassemi, o risco de engajar o viés de automação é que, quando o modelo está errado, os usuários não conseguem mais se recuperar.
Isto é o que a maior parte da cobertura sobre IA médica deixa passar. A questão não é se a IA melhora o diagnóstico. Em muitos casos, ela melhora. A questão é para quem, sob quais condições e com quais escolhas de design em vigor.
Em Resumo
As explicações da IA no diagnóstico médico não ajudam todos os usuários igualmente. Os não especialistas melhoram sua precisão, mas em grande parte por se curvarem ao modelo, o que os torna mais vulneráveis quando o modelo está errado. Os médicos são mais resilientes aos erros da IA e se beneficiam menos de explicações detalhadas. O mesmo recurso de explicabilidade pode apoiar o raciocínio de especialistas e minar o julgamento de não especialistas. Projetar IA para ambientes de saúde exige saber quem usará o sistema e construir ferramentas que incentivem o pensamento crítico em vez da dependência cega.
Com base em reportagem de MIT News AI.