Eine in Nature Medicine veröffentlichte Studie von Forschenden des MIT, der Stanford University und der Columbia University kommt zu einem Ergebnis, das einer gängigen Annahme in der medizinischen KI widerspricht: nämlich dass bessere Erklärungen KI-Tools für jeden nützlicher machen. Die Forschung zeigt, dass das Gegenteil der Fall sein kann. Dieselbe Funktion zur Erklärbarkeit, die einer Ärztin oder einem Arzt hilft, kann Laien in die Irre führen, und dasselbe KI-System, das die Diagnosegenauigkeit in einer Gruppe verbessert, kann Fehler in einer anderen verstärken.
Warum Erklärungen nicht für jeden gleich funktionieren
Die Studie untersuchte zwei Gruppen: Laien und Hausärztinnen und -ärzte. Beide wurden gebeten, Hautkrankheiten anhand medizinischer Bilder zu diagnostizieren – mit und ohne KI-Unterstützung. Die KI-Tools variierten darin, wie sie ihre Vorhersagen erklärten. Einige lieferten einen Konfidenzwert ohne weitere Erklärung. Andere nutzten Heatmaps, um relevante Bildbereiche hervorzuheben. Wieder andere verwendeten LLMs, um allgemeinverständliche Erklärungen für die Argumentation des Modells zu generieren.
Laien verbesserten ihre Diagnosegenauigkeit bei allen Ansätzen der erklärbaren KI. Diese Verbesserung hatte jedoch einen Haken. Sie war größtenteils auf Gefolgschaft zurückzuführen: Die Nutzerinnen und Nutzer folgten der KI, anstatt parallel dazu zu überlegen. Wenn das Modell falsch lag, neigten Laien dazu, ihm in die falsche Antwort zu folgen. Dieser Effekt war bei LLM-basierten Erklärungen am stärksten. Die Nutzer waren sich ihrer falschen Antworten sicherer, wenn ein LLM die Argumentation erklärt hatte, und sie fanden vage oder generische Erklärungen überzeugender, nicht weniger.
Klinikerinnen und Kliniker verhielten sich anders. Sie waren resistent gegenüber falschen KI-Ausgaben und schnitten am besten ab, wenn sie nur die Vorhersage des Modells ohne begleitende Erklärung erhielten. Von allen getesteten Methoden steigerten LLM-Erklärungen die Genauigkeit von Ärzten am wenigsten.
Orson Xu, Hauptautor und Assistenzprofessor für biomedizinische Datenwissenschaft an der Columbia University, beschreibt die Dynamik treffend: Eine Ärztin oder ein Arzt hat bereits eine Arbeitsdiagnose und nutzt die KI als Abgleich mit der eigenen Ausbildung, sodass eine fehlerhafte Erklärung auffällt. Ein Laie, dem dieses Fundament fehlt, nutzt die Erklärung überhaupt erst, um sich eine Meinung zu bilden. Dasselbe Tool wird für den einen Nutzer zu einem Vorteil und für den anderen zu einem Risiko.
Der Deferenzeffekt und seine Ursachen
Die Forschenden identifizierten ein Muster, das sie als Deferenzeffekt (Effekt der Unterordnung) bezeichnen: Nutzerinnen und Nutzer, die am stärksten auf KI-Unterstützung vertrauten, schnitten bei der Arbeit ohne diese auch am schlechtesten ab. Das ist kein Zufall. Es spiegelt wider, wie Automatisierungsbias funktioniert. Wenn ein System eine zuversichtliche, kohärente Erklärung präsentiert, klammern sich die Nutzer daran, selbst wenn die zugrunde liegende Vorhersage falsch ist.
Auch das Timing spielt eine Rolle. Die Studie ergab, dass die Präsentation einer KI-Erklärung, bevor der Nutzer eine eigene Hypothese gebildet hat, die Gefolgschaft erhöht. Nutzerinnen und Nutzer, die zuerst die Argumentation der KI sahen, neigten eher dazu, ihr unkritisch zu folgen. Dies legt nahe, dass die Reihenfolge, in der Informationen bereitgestellt werden, und nicht nur deren Inhalt, die menschliche Urteilsfindung prägt.
Es gab auch Erkenntnisse zur Fairness. Als die Forschenden ein auf Fairness optimiertes Modell verwendeten, das darauf ausgelegt ist, Vorurteile gegenüber dunkleren Hauttönen zu reduzieren, verbesserte das System die Genauigkeit erheblich und verduzierte diagnostische Diskrepanzen aufgrund des Hauttons. Dies weist auf eine Designdimension hin, die über die reine Genauigkeit hinausgeht: Wer von der KI-Unterstützung profitiert und unter welchen Bedingungen, wird dadurch mitbestimmt, wie das Modell gebaut ist.
Marzyeh Ghassemi, außerordentliche Professorin am Department of Electrical Engineering and Computer Science des MIT und leitende Forscherin am Laboratory for Information and Decision Systems, bringt das Kernproblem auf den Punkt: KI-Unterstützung kann die Leistung im Gesundheitswesen verbessern, aber dieser Nutzen muss gegen das Risiko abgewogen werden, dass algorithmische Gefolgschaft zu mehr Fehlern führt. Sowohl KI-Systeme als auch Methoden zur Erklärbarkeit können einen Automatisierungsbias auslösen, und dieser Verankerungseffekt muss beim Design berücksichtigt werden.
Was das über die Dermatologie hinaus bedeutet
Diese Forschung ist auch jenseits der Diagnose von Hautkrankheiten von Bedeutung. Sie legt ein strukturelles Problem bei der Bereitstellung medizinischer KI offen: Tools werden anhand der durchschnittlichen Leistung über alle Nutzer hinweg bewertet, aber diejenigen, die am meisten von der KI-Unterstützung profitieren könnten, sind oft auch diejenigen, die am anfälligsten dafür sind, von ihr in die Irre geführt zu werden.
Roxana Daneshjou, Mitautorin und Assistenzprofessorin für biomedizinische Datenwissenschaft und Dermatologie an der Stanford University, drückt es direkt aus: Diejenigen mit dem geringsten medizinischen Wissen lassen sich am ehesten in die Irre führen, wenn ein erklärbares KI-Modell ein fehlerhaftes Ergebnis liefert. Dies ist kein Randphänomen. Laien nutzen zunehmend KI-gestützte Tools, um ihre eigene Gesundheit zu beurteilen, und mehrere von der FDA zugelassene KI-Schnittstellen sind bereits im Einsatz, um Ärztinnen und Ärzte bei der Identifizierung von Hauterkrankungen auf medizinischen Bildern zu unterstützen.
Die Implikation für das Design ist konkret. Anstatt detailliertere LLM-Erklärungen zu generieren, schlagen die Forschenden einen anderen Ansatz vor: Nutzerinnen und Nutzer dazu zu verpflichten, zuerst eine Diagnosehypothese aufzustellen, und erst dann den Vorschlag der KI als Denkanstoß für andere Möglichkeiten zu präsentieren. Das Ziel ist es, KI zu nutzen, um das Denken zu erweitern, nicht es zu ersetzen. Wie Ghassemi anmerkt, besteht das Risiko des Automatisierungsbias darin, dass Nutzer sich nicht mehr retten können, wenn das Modell falsch liegt.
Genau das übersehen die meisten Berichte über medizinische KI. Die Frage ist nicht, ob KI die Diagnose verbessert. In vielen Fällen tut sie das. Die Frage ist, für wen, unter welchen Bedingungen und mit welchen Designentscheidungen im Hintergrund.
Kurz gefasst
KI-Erklärungen bei medizinischen Diagnosen helfen nicht allen Nutzerinnen und Nutzern gleichermaßen. Laien verbessern ihre Genauigkeit, tun dies jedoch größtenteils, indem sie sich dem Modell unterordnen, was sie anfälliger macht, wenn das Modell falsch liegt. Kliniker sind widerstandsfähiger gegenüber KI-Fehlern und profitieren am wenigsten von detaillierten Erklärungen. Dieselbe Erklärbarkeitsfunktion kann das Denken von Expertinnen und Experten unterstützen und das Urteil von Laien untergraben. Das Design von KI für das Gesundheitswesen erfordert das Wissen darüber, wer das System nutzen wird, und die Entwicklung von Tools, die kritisches Denken anstelle von blindem Vertrauen fördern.
Basierend auf Berichten von MIT News AI.