Une étude publiée dans Nature Medicine par des chercheurs du MIT, de l’Université Stanford et de l’Université Columbia arrive à une conclusion qui va à l’encontre d’une hypothèse courante dans l’IA médicale : selon laquelle de meilleures explications rendent les outils d’IA plus utiles pour tout le monde. La recherche montre que l’inverse peut être vrai. La même fonctionnalité d’explicabilité qui aide un clinicien peut induire en erreur un non-expert, et le même système d’IA qui améliore la précision diagnostique chez un groupe peut amplifier les erreurs chez un autre.
Pourquoi les explications ne fonctionnent pas de la même manière pour tout le monde
L’étude a testé deux groupes : des non-experts et des praticiens de soins de santé primaires, tous invités à diagnostiquer des maladies de la peau à l’aide d’images médicales, avec et sans l’assistance d’une IA. Les outils d’IA variaient dans la manière d’expliquer leurs prédictions. Certains fournissaient un niveau de confiance sans autre explication. D’autres utilisaient des cartes thermiques pour mettre en évidence les régions pertinentes des images. D’autres encore utilisaient des LLM pour générer des explications en langage clair du raisonnement du modèle.
Les non-experts ont amélioré leur précision diagnostique dans toutes les approches d’IA explicable. Mais cette amélioration s’est accompagnée d’un piège. Elle était largement motivée par la déférence : les utilisateurs suivaient l’IA plutôt que de raisonner à ses côtés. Lorsque le modèle se trompait, les non-experts avaient tendance à le suivre vers la mauvaise réponse. Cet effet était le plus prononcé avec les explications basées sur les LLM. Les utilisateurs étaient plus confiants dans leurs réponses incorrectes lorsqu’un LLM avait expliqué le raisonnement, et ils trouvaient les explications vagues ou génériques plus convaincantes, et non moins.
Les cliniciens se sont comportés différemment. Ils se sont montrés résistants aux sorties erronées de l’IA et ont obtenu de meilleurs résultats lorsqu’on ne leur fournissait que la prédiction du modèle, sans explication complémentaire. De toutes les méthodes testées, ce sont les explications des LLM qui ont le moins stimulé la précision des cliniciens.
Orson Xu, auteur principal et professeur assistant en science des données biomédicales à l’Université Columbia, décrit clairement cette dynamique : un clinicien dispose déjà d’un diagnostic de travail et utilise l’IA comme vérification par rapport à sa propre formation, de sorte qu’une explication erronée est interceptée. Un non-expert, dépourvu de cette base, utilise l’explication pour se faire une opinion en premier lieu. Le même outil devient un atout pour un utilisateur et un handicap pour l’autre.
L’effet de déférence et ses moteurs
Les chercheurs ont identifié un schéma qu’ils appellent l’effet de déférence : les utilisateurs qui s’appuyaient le plus lourdement sur l’assistance de l’IA étaient également ceux qui obtenaient les moins bons résultats lorsqu’ils travaillaient sans elle. Ce n’est pas une coïncidence. Cela reflète la façon dont le biais d’automatisation opère. Lorsqu’un système présente une explication cohérente et confiante, les utilisateurs s’y ancrent, même lorsque la prédiction sous-jacente est fausse.
Le timing compte également. L’étude a révélé que présenter une explication de l’IA avant qu’un utilisateur n’ait formé sa propre hypothèse augmente la déférence. Les utilisateurs qui ont vu le raisonnement de l’IA en premier sont devenus plus susceptibles de le suivre sans esprit critique. Cela suggère que la séquence dans laquelle l’information est délivrée, et pas seulement son contenu, façonne la manière dont les gens raisonnent.
Il y a également eu des conclusions concernant l’équité. Lorsque les chercheurs ont utilisé un modèle contraint par l’équité, conçu pour réduire les biais envers les tons de peau plus foncés, le système a considérablement amélioré la précision et réduit les disparités diagnostiques basées sur le ton de la peau. Cela pointe vers une dimension de conception qui va au-delà de la seule précision : qui bénéficie de l’assistance de l’IA, et dans quelles conditions, est façonné par la façon dont le modèle est construit.
Marzyeh Ghassemi, professeure associée au Département de génie électrique et d’informatique du MIT et chercheuse principale au Laboratoire des systèmes d’information et de décision, formule la tension centrale : l’assistance de l’IA peut améliorer les performances dans les contextes de santé, mais ce bénéfice doit être mis en balance avec le risque qu’une déférence algorithmique conduise à davantage d’erreurs. Les systèmes d’IA et les méthodes d’explicabilité peuvent tous deux enclencher un biais d’automatisation, et cet effet d’ancrage doit être pris en compte dès la conception.
Ce que cela signifie au-delà de la dermatologie
Cette recherche a de l’importance bien au-delà du diagnostic des maladies de la peau. Elle met en lumière un problème structurel dans la façon dont l’IA médicale est souvent déployée : les outils sont évalués sur la performance moyenne de l’ensemble des utilisateurs, mais les personnes qui ont le plus à gagner de l’assistance de l’IA sont fréquemment celles qui sont le plus vulnérables face au risque d’être induites en erreur par celle-ci.
Roxana Daneshjou, co-auteure et professeure adjointe en science des données biomédicales et en dermatologie à l’Université Stanford, le formule directement : ceux qui ont le moins de connaissances médicales sont les plus susceptibles d’être égarés lorsqu’un modèle d’IA explicable produit une sortie erronée. Il ne s’agit pas d’un cas marginal. Les non-experts utilisent de plus en plus d’outils alimentés par l’IA pour évaluer leur propre santé, et plusieurs interfaces d’IA approuvées par la FDA sont déjà utilisées pour aider les cliniciens à identifier les affections cutanées sur des images médicales.
L’implication pour la conception est concrète. Plutôt que de générer des explications LLM plus détaillées, les chercheurs suggèrent une approche différente : exiger des utilisateurs qu’ils forment d’abord une hypothèse diagnostique, puis présenter la suggestion de l’IA comme une invitation à envisager d’autres possibilités. L’objectif est d’utiliser l’IA pour élargir la réflexion, et non pour la remplacer. Comme le note Ghassemi, le risque d’engager un biais d’automatisation est que lorsque le modèle se trompe, les utilisateurs ne peuvent plus se rattraper.
C’est ce que la plupart des reportages sur l’IA médicale omettent. La question n’est pas de savoir si l’IA améliore le diagnostic. Dans de nombreux cas, c’est le cas. La question est de savoir pour qui, dans quelles conditions, et avec quels choix de conception en place.
En bref
Les explications de l’IA dans le diagnostic médical n’aident pas tous les utilisateurs de la même manière. Les non-experts améliorent leur précision, mais en s’en remettant largement au modèle, ce qui les rend plus vulnérables lorsque celui-ci se trompe. Les cliniciens sont plus résistants aux erreurs de l’IA et bénéficient le moins des explications détaillées. La même fonctionnalité d’explicabilité peut soutenir le raisonnement d’un expert tout en sapant le jugement d’un non-expert. Concevoir une IA pour les environnements de santé exige de savoir qui utilisera le système et de construire des outils qui encouragent la pensée critique plutôt qu’une dépendance aveugle.
D’après un reportage de MIT News AI.