The Brief
Gesellschaft und Ethik 4 Min. Lesezeit

Vor Offenlegung erkannt: Der blinde Fleck von KI in der Betreuung bei Missbrauch

NAVION

Teilen

Ein Forschungsteam unter der Leitung von Wissenschaftlern der Harvard Medical School hat KI-Modelle entwickelt, die in der Lage sind, Patienten mit einem erhöhten Risiko für häusliche Gewalt anhand von Daten zu identifizieren, die bereits in elektronischen Gesundheitsakten erfasst wurden. Die Modelle kennzeichneten ein potenzielles Risiko im Durchschnitt mehr als drei Jahre bevor die Patienten in ein krankenhausbasiertes Interventionsprogramm gegen häusliche Gewalt aufgenommen wurden. Die technische Leistung ist real. Was das für Überlebende bedeutet, ist eine schwieriger zu beantwortende Frage.

Was der Algorithmus tatsächlich sieht

Die Modelle wurden mit routinemäßig erhobenen Gesundheitsaktdaten von weiblichen Patienten in einem einzigen akademischen Gesundheitszentrum in den USA trainiert und anschließend anhand von drei weiteren Patientenkohorten validiert. Die Forscher selbst wiesen darauf hin, dass vor jeder klinischen Implementierung eine sorgfältige Leistungsbewertung für die breitere Population weiblicher Patienten durchgeführt werden sollte.

Dieser Vorbehalt ist wichtig. Die Lücke zwischen einem validierten Modell und einem eingesetzten Tool ist der Ort, an dem das meiste ethische Gewicht liegt. Die KI beobachtet keine Gewalt. Sie leitet das Risiko aus Mustern in medizinischen Daten ab, also Mustern, die mit häuslicher Gewalt korrelieren, ohne sie direkt aufzudecken. Erkennung und Verständnis sind nicht dasselbe, und Erkennung und Reaktion sind es ebenfalls nicht.

Das Problem damit, jemanden zu kennzeichnen, der nicht gesprochen hat

Hier ist, was die meiste Berichterstattung über diese Art von Forschung übersieht: Für jemanden, der häusliche Gewalt erlebt, ist das Schweigen oft keine Passivität. Es ist eine Strategie.

Die Entscheidung, ob man Missbrauch offenlegt, beinhaltet eine Reihe von Faktoren, die kein Algorithmus vollständig berücksichtigen kann. Sicherheitsbedenken, finanzielle Abhängigkeit von einem gewalttätigen Partner, Misstrauen gegenüber sozialen Diensten, Angst, nicht geglaubt zu werden, und die sehr reale Möglichkeit, dass eine Offenlegung ein Verfahren zum Entzug von Sorgerechten auslösen könnte. In manchen Situationen ist das Schweigen die Art und Weise, wie eine Person sich selbst und ihre Kinder sicher hält.

Trauma- und gewaltbezogene Versorgung, der Rahmen, der die besten Praktiken in diesem Bereich leitet, basiert auf den Prinzipien von Sicherheit, Wahlfreiheit, Zusammenarbeit, Verbindung und Kapazitätsaufbau. Diese Prinzipien existieren genau deshalb, weil Überlebende die Kontrolle über ihre eigenen Geschichten behalten müssen. Ein System, das Missbrauch ableitet, bevor eine Person sich entschieden hat, ihn mitzuteilen, nimmt ihnen diese Kontrolle, egal wie gut gemeint die Technologie dahinter ist.

Einer der beteiligten Forscher hat erklärt, dass das Ziel des Tools nicht darin besteht, Patienten zu einer Offenlegung zu drängen, sondern Klinikpersonal dabei zu helfen, empathischer zu kommunizieren und Patienten mit Unterstützung zu verbinden. Dieser Rahmen ist wichtig. Er lässt jedoch auch eine entscheidende Frage offen: Was passiert tatsächlich, sobald ein Patient gekennzeichnet wird? Ist das klinische Personal darin geschult, trauma-sensibel zu reagieren? Sind entsprechende Dienste verfügbar und zugänglich? Die Forschung beantwortet diese Fragen noch nicht.

Warum Erkennung nicht dasselbe ist wie Fürsorge

Es gibt ein zweites Risiko, das in die entgegengesetzte Richtung wirkt. Wenn Gesundheitssysteme sich zu stark auf KI-generierte Risikowerte verlassen, könnte das Fehlen einer Kennzeichnung Anbieter davon abhalten, überhaupt nach Gewalt zu fragen. Die Forschung zu klinischen Entscheidungshilfesystemen hat dieses Muster bereits identifiziert: Automatisierungsbias, also die Tendenz von Klinikpersonal, sich automatisierten Empfehlungen anzupassen, selbst wenn diese Empfehlungen falsch sind.

Angewandt auf häusliche Gewalt könnte Automatisierungsbias bedeuten, dass bei einer überlebenden Person, die nicht zum Risikoprofil des Modells passt, mit geringerer Wahrscheinlichkeit nach ihrer Erfahrung gefragt wird. Der Algorithmus wird zu einem Filter, und einige Menschen fallen durch ihn hindurch.

Dies weist auf ein strukturelles Problem hin, das KI nicht allein lösen kann. Selbst wenn ein Modell ein erhöhtes Risiko korrekt identifiziert, wird die überlebende Person weiterhin auf dieselben Lücken bei Diensten, Sicherheitsplanung und Ressourcen stoßen, die heute existieren. Eine bessere Identifizierung führt nicht automatisch zu besseren Ergebnissen. Die Infrastruktur der Reaktion muss zuerst da sein.

Eine Frage darüber, wer die Geschichte erzählen darf

Die größere Bedeutung dieser Forschung betrifft eigentlich nicht die Genauigkeitsraten oder die Modellvalidierung. Sie betrifft eine Verschiebung in der Beziehung zwischen Patienten und Gesundheitssystemen, die KI in vielen Bereichen beschleunigt, die hier jedoch ein besonderes Gewicht hat.

Häusliche Gewalt ist teilweise durch Zwang und Kontrolle definiert. Die Fähigkeit zu entscheiden, wann, wie und ob man über diese Erfahrung spricht, ist kein prozedurales Detail. Für viele Überlebende ist sie einer der wenigen Bereiche von Autonomie, die sie haben. Ein Tool, das diese Wahlmöglichkeit nimmt, selbst im Namen einer frühen Intervention, reproduziert eine Dynamik, die auf eine trauma-sensible Versorgung ausgelegt ist, um sie genau zu stören.

Der Rahmen der Forscher selbst erkennt diese Spannung an. Jede Implementierung einer KI-basierten Risikoerkennung muss, so argumentieren sie, nicht nur auf Vorhersagegenauigkeit bewertet werden, sondern auch anhand der Prinzipien von Sicherheit, Wahlfreiheit, Zusammenarbeit, Verbindung und Kapazitätsaufbau. Das ist ein aussagekräftiger Standard. Es bedeutet auch, dass der verantwortungsvolle Einsatz dieser Technologie weit mehr erfordert als ein gut funktionierendes Modell.

Kurz gesagt

KI kann nun ein potenzielles Risiko für häusliche Gewalt Jahre erkennen, bevor Überlebende sich entscheiden, es offenzulegen. Die technische Fähigkeit ist real und die dahinter stehende Absicht ist es, die Versorgung zu verbessern. Das Risiko besteht darin, dass eine frühe Erkennung ohne die richtige klinische Schulung, überlebensorientierte Protokolle und zugängliche Dienste genau jene Handlungsfähigkeit untergraben könnte, die sie schützen soll. Ein Problem zu erkennen und gut darauf zu reagieren sind zwei völlig verschiedene Dinge. Die Lücke dazwischen ist der Ort, an dem die eigentliche Arbeit beginnt.

Basierend auf Berichten von The Conversation.

Geschrieben von

NAVION