Künstliche Intelligenz hält in einem Tempo Einzug in Krankenhäuser und Kliniken, mit dem rechtliche und regulatorische Rahmenbedingungen nicht Schritt halten konnten. Die Werkzeuge, die jetzt zum Einsatz kommen, tun mehr als nur Daten anzuzeigen oder Auffälligkeiten zur Überprüfung durch einen Arzt zu markieren. Von der nächsten Generation wird erwartet, dass sie Diagnosen stellt, Behandlungspläne erstellt und Patienten mit wenig oder gar keiner menschlichen Beteiligung betreut. Dieser Wandel schafft ein Problem, mit dem die Medizin noch nie konfrontiert war: Wenn ein KI-System Schaden verursacht, finden die bestehenden Regeln zur Verantwortungszuweisung möglicherweise auf niemanden Anwendung.
Die Verantwortlichkeitslücke, die fortschrittliche KI öffnet
Das Gesundheitswesen funktionierte traditionell mit klaren Verantwortlichkeiten. Ärztliches Personal ist an einen Sorgfaltsstandard gebunden. Krankenhäuser müssen sichere Prozesse organisieren. Medizinproduktehersteller müssen Produkte liefern, die wie vorgesehen funktionieren. Regulierungs- und Zulassungsbehörden können eingreifen, wenn eine dieser Parteien ihre Pflichten vernachlässigt. Gerichte können die Haftung feststellen, wenn Patienten zu Schaden kommen.
KI-Tools verkomplizieren jede einzelne dieser Linien gleichzeitig.
Derzeitige Systeme agieren noch weitgehend als Assistenten. Ein Sepsis-Risikomodell beispielsweise kombiniert definierte physiologische Variablen über eine transparente Formel und erzeugt einen Warnhinweis, den ein Arzt überprüfen muss, bevor eine Behandlung folgt. Die Argumentation ist nachvollziehbar. Der Mensch bleibt eingebunden. Die Haftung kann, falls etwas schiefgeht, weiterhin über gewohnte Wege nachverfolgt werden.
Die Werkzeuge, die derzeit entwickelt werden, funktionieren anders. Fortschrittliche Deep-Learning-Systeme können zu einer Diagnose gelangen, indem sie Muster über Tausende von Variablen hinweg erkennen – durch Prozesse, die selbst die behandelnden Ärzte nicht mehr nachvollziehen können. Dies nennt die Forschung „Black-Box“-Systeme: Das Ergebnis mag korrekt sein, aber der Weg dorthin ist undurchsichtig. Wenn eine Entscheidung, die gemeinsam von einem Arzt und einem undurchsichtigen KI-Modell getroffen wurde, zu einem Personenschaden führt, decken bestehende medizinische Haftungsrahmen nicht ab, wer die Verantwortung trägt. Forscher, die zu diesem Thema publizieren, bezeichnen das Ergebnis als Haftungslücke: eine Situation, in der jemand geschädigt wird, aber keine Partei eindeutig gegen eine identifizierbare Regel verstoßen hat.
Die Folgen dieser Lücke sind im Verhalten bereits sichtbar. Ärzte nennen rechtliche Unsicherheit immer wieder als Hürde für den Einsatz von KI-Tools, selbst bei solchen, die Patienten nützen könnten. Krankenhäuser vermeiden es möglicherweise, KI in Bereichen einzusetzen, in denen sie tatsächlich helfen könnte – genau deshalb, weil das rechtliche Risiko unklar ist. Und Anbieter von KI-Systemen haben weniger Anreiz, die Sicherheit nach dem Markteintritt eines Produkts zu überwachen, wenn sie begründet erwarten können, dass eine Schuldzuweisung schwierig sein wird.
Ein Sieben-Stufen-Rahmenwerk zur Klassifizierung von KI-Fähigkeiten
Eine Gruppe von Forschern, darunter Kyle Lam vom Imperial College London, Mindy Nunez Duffourc von der Maastricht University, Jiankai Sun von der Stanford University, Eric Topol vom Scripps Research Translational Institute und Jianing Qiu von der Mohamed bin Zayed University of Artificial Intelligence, hat einen strukturierten Ansatz für dieses Problem vorgeschlagen. Ihr Rahmenwerk definiert sieben Stufen medizinischer KI-Fähigkeiten basierend auf drei Eigenschaften: Autonomie, Automation und operativer Anwendungsbereich.
Autonomie bezieht sich darauf, wie unabhängig ein System ohne menschliche Eingabe Schlussfolgerungen zieht. Automation beschreibt, welche Aufgaben das System eigenständig ausführen kann. Der operative Anwendungsbereich legt die Grenzen fest, innerhalb derer das System funktionieren darf.
Dasselbe Tool kann sich je nachdem, wo und wie es eingesetzt wird, auf unterschiedlichen Stufen befinden. Ein Netzhaut-Bildgebungssystem, das von einer augenärztlichen Fachabteilung zur Überprüfung einer klinischen Entscheidung verwendet wird, birgt ein anderes Risiko als das identische Tool, das in einer hausärztlichen Praxis eingesetzt wird, um autonom zu entscheiden, ob ein Patient an einen Facharzt überwiesen wird. Die Technologie ist dieselbe. Der Kontext der Verantwortlichkeit nicht.
Das Rahmenwerk greift auf Präzedenzfälle aus anderen Bereichen mit hohem Risiko zurück. Die Regulierung in der Luftfahrt und bei autonomen Fahrzeugen nutzt bereits abgestufte Level, um festzulegen, welche Aufgaben ein System ausführen muss, wie unabhängig dies geschieht und ab welchem Punkt ein Mensch übernehmen muss. Die Forscher argumentieren, dass eine vergleichbare Struktur für medizinische KI Regulierungsbehörden, Gerichten, der Politik und medizinischen Fachgremien ein gemeinsames Vokabular für die kommenden Werkzeuge an die Hand geben würde.
Am unteren Ende der Skala deckt Stufe 0 Informationssysteme ohne Autonomie ab, wie etwa Algorithmen, die elektronische Patientenakten verwalten oder Daten von Wearables streamen. Ihr Verhalten ist transparent und ihre Ergebnisse sind unabhängig überprüfbar. Konventionelle Haftungsstandards finden problemlos Anwendung. Stufe 1 umfasst unterstützende Tools, die eine einzelne definierte Aufgabe unter ärztlicher Aufsicht ausführen, wie etwa das Markieren verdächtiger Herzrhythmen oder das Hervorheben potenzieller Lungenrundherde auf einem Scan. Stufe 2 umfasst Entscheidungsunterstützungssysteme, die mehrere Datenströme – einschließlich Symptome, Krankengeschichte, Bildgebung und klinische Leitlinien – zusammenführen, um Diagnosen, Behandlungspläne oder Triage-Risikobewertungen zu erstellen. In beiden Fällen behält der Arzt die letzte Entscheidungsgewalt.
Warum dieses Rahmenwerk über die Medizin hinaus von Bedeutung ist
Das tiefere Problem hier betrifft nicht nur das Gesundheitswesen. Es geht darum, was mit Verantwortlichkeitsstrukturen geschieht, wenn eine folgenschwere Entscheidung von einem System getroffen wird, dessen Entscheidungsfindung von den für das Ergebnis verantwortlichen Menschen nicht vollständig überprüft werden kann.
Die Medizin macht dieses Problem ungewöhnlich deutlich, weil es um unmittelbare Risiken geht und die bestehenden Haftungsrahmen gut ausgereift sind. Doch dieselbe strukturelle Spannung entsteht überall dort, wo autonome KI-Systeme in berufliche Ermessensentscheidungen eingebettet werden: in der Rechtsanalyse, in der Finanzberatung, im Infrastrukturmanagement. Die Frage, wer verantwortlich ist, wenn ein undurchsichtiges System zu einem Schaden beiträgt, ist eine Frage, die jeder Sektor, der fortschrittliche KI einsetzt, letztendlich beantworten muss.
Was das vorgeschlagene Rahmenwerk bietet, ist ein Weg, diese Frage handhabbar zu machen. Indem KI-Systeme danach eingestuft werden, was sie tun können, wie unabhängig sie es tun und in welchem Kontext, wird es möglich, regulatorische Erwartungen und Haftungsstandards festzulegen, bevor ein Schaden entsteht – und nicht erst danach. Das ist die Logik hinter dem Ansatz der Luftfahrt bezüglich Automatisierungsstufen, und es ist die Logik, die die Forscher auf die Medizin anwenden.
Das Fehlen solcher Rahmenwerke macht KI nicht sicherer. Es macht die Folgen von Fehlern schwerer zu bewältigen und gibt vorsichtigen Institutionen einen Grund, Tools zu meiden, die Patienten helfen könnten.
Kurz gesagt
Medizinische KI entwickelt sich vom passiven Assistenten zum aktiven Entscheidungsträger, und die rechtlichen Rahmenbedingungen zum Schutz von Patienten haben damit nicht Schritt gehalten. Wenn ein undurchsichtiges KI-System zu einem schädlichen Ergebnis beiträgt, lassen bestehende Haftungsregeln möglicherweise keine Partei als eindeutig verantwortlich zurück. Ein vorgeschlagenes Sieben-Stufen-Rahmenwerk, das auf Autonomie, Automation und operativem Anwendungsbereich basiert, bietet eine Möglichkeit, regulatorische Erwartungen an die tatsächlichen KI-Fähigkeiten anzupassen. Das Ziel ist nicht, die Einführung zu verlangsamen, sondern die Verantwortlichkeit so klar verständlich zu machen, dass die Einführung sicher erfolgen kann.
Basierend auf Berichten von Nature: Machine Learning.