Eine formelle Untersuchung darüber, wie die britische Polizei Gesichtserkennungstechnologie einsetzt, hat zu einer Erkenntnis geführt, die den Kern der Frage trifft, wie KI-Systeme in der Praxis versagen können. Das Problem besteht nicht einfach darin, dass die Technologie Fehler macht. Es besteht darin, dass Beamte diese Fehler manchmal als Tatsachen behandeln.
Wenn ein Wahrscheinlichkeitswert zu einem Haftbefehl wird
Die Aufsichtsbehörde für das Polizeiwesen in England und Wales (His Majesty’s Inspectorate of Constabulary) hat einen Bericht veröffentlicht, der die retrospective Gesichtserkennung untersucht. Das ist jene Form der Technologie, die verwendet wird, um bestehende Bilddatenbanken zu durchsuchen, anstatt Menschenmengen in Echtzeit zu scannen. Selbst diese weniger umstrittene Anwendung, so der Bericht, birgt ernsthafte Risiken, wenn die Menschen, die sie bedienen, nicht verstehen, was die Ergebnisse tatsächlich bedeuten.
Das Kernproblem ist ein Kategorienfehler. Ergebnisse der Gesichtserkennung sind Geheimdienstinformationen, ein Hinweis, der untersucht werden muss, und kein Beweis, der behördliche Maßnahmen von sich aus rechtfertigen kann. Der Bericht ergab jedoch, dass einige Ermittler diesen Unterschied nicht kannten. In einer kleinen Anzahl von Fällen handelten Beamte aufgrund potenzieller Treffer, ohne ausreichende Überprüfungen vorzunehmen. Das Resultat war in diesen Fällen das, was der Bericht als „unangemessene Ermittlungsmaßnahmen“ bezeichnet.
Das ist es, was die meiste Berichterstattung über Gesichtserkennung übersieht. Die Debatte neigt dazu, sich darauf zu konzentrieren, ob die Technologie überhaupt existieren sollte. Der Bericht verschiebt die Fragestellung: Sind die Personen, die sie nutzen, selbst dort, wo die Technologie erlaubt ist, dafür gerüstet, sie korrekt einzusetzen? Die Antwort lautet in zumindest einigen dokumentierten Fällen nein.
Voreingenommenheit, schlechte Bilder und fehlende Schutzmaßnahmen
Der Bericht benennt mehrere sich verstärkende Probleme. Der Algorithmus selbst trägt Verzerrungen in sich, darunter eine höhere Wahrscheinlichkeit, Personen aus ethnischen Minderheiten fälschlicherweise als Verdächtige einzustufen. Dies ist keine neue Erkenntnis im breiteren Feld der Gesichtserkennungserforschung, aber ihr Auftreten in einer offiziellen Inspektion des aktiven Polizeieinsatzes verleiht ihr ein besonderes Gewicht.
Auch die Qualität der in das System eingespeisten Bilder spielt eine Rolle. Prüfer fanden Fälle, in denen Beamte verschwommene Bilder oder Bilder mit mehreren Gesichtern hochluden, was jeweils die Zuverlässigkeit eines vom System gelieferten Treffers verringert. Die Technologie kann nur so gut funktionieren wie die Eingaben, die sie erhält.
Jasleen Chaggar von Big Brother Watch äußerte ein weiteres Bedenken: Die Polizei protokolliert ihren Einsatz der retrospektiven Gesichtserkennung nicht lückenlos. Das bedeutet, dass Einzelpersonen in strafrechtlichen Ermittlungen zu Verdächtigen werden können, ohne dass es eine transparente Aufzeichnung darüber gibt, warum sie markiert wurden, und ohne eine praktikable Möglichkeit, den Prozess anzufechten.
Der Bericht ergab zudem, dass Aufnahmen aus Gewahrsamen, die hätten gelöscht werden müssen, tatsächlich aufbewahrt wurden, was ein zusätzliches Risiko für das Vertrauen der Öffentlichkeit darstellt. Zugrundeliegt all dem eine Gesetzeslücke. Wie der Bericht feststellt, hat die Gesetzgebung mit der Technologie nicht Schritt gehalten. Es gibt keinen umfassenden gesetzlichen Rahmen, der regelt, wie Gesichtserkennung eingesetzt werden darf, was es für Polizeibehörden schwieriger macht zu verstehen, was rechtlich zulässig ist und welche Schutzmaßnahmen erforderlich sind.
Professor Pete Fussey von der University of Southampton, früher Polizeiberater für Gesichtserkennung, brachte die rechtliche Dimension auf den Punkt: Eine sinnvolle menschliche Überprüfung von KI-Systemen ist bereits eine rechtliche Anforderung, dennoch dokumentiert der Bericht Fälle, in denen Ermittler die Ausgabe des Computers ohne weitere Verifizierung akzeptierten.
Was dies über KI in sensiblen Umgebungen verrät
Der Fall der Gesichtserkennung ist ein konkretes Beispiel für eine viel größere Herausforderung. Wenn KI-Systeme in Umgebungen eingesetzt werden, in denen ihre Ergebnisse reale Konsequenzen nach sich ziehen können, etwa eine Festnahme, eine medizinische Entscheidung oder eine finanzielle Handlung, müssen die Menschen im Prozess genau verstehen, was das System ihnen sagt und was nicht.
Ein KI-Treffer ist keine Schlussfolgerung. Er ist ein Signal, das eine weitere Untersuchung rechtfertigt. In dem Moment, in dem dieser Unterschied verschwimmt, hört das System auf, das menschliche Urteilsvermögen zu unterstützen, und fängt an, es zu ersetzen, und zwar auf eine Weise, die niemandem gut tut. Kathryn Stone, Inspektorenchefin der Aufsichtsbehörde, hat dies unmissverständlich ausgedrückt: Entscheidungen müssen der menschlichen Beurteilung unterworfen bleiben, und geeignete Schutzmaßnahmen müssen nachweislich vorhanden sein.
Die Forderung des Berichts nach einem klareren gesetzlichen Rahmen, strengeren nationalen Standards und einer verbesserten Governance ist keine bürokratische Vorsicht. Sie spiegelt eine reale Lücke wider zwischen der Geschwindigkeit, mit der die Technologie übernommen wurde, und der Langsamkeit, mit der sich die institutionellen Strukturen darum herum entwickelt haben. Die Technologie bewegt sich schneller als das Gesetz. Diese Lücke ist der Ort, an dem in der Regel Schaden entsteht.
Ben Russell vom National Police Chiefs’ Council würdigte den Bericht und bekräftigte gleichzeitig das Bekenntnis der Polizei zu einem ethischen und verhältnismäßigen Einsatz der Technologie. Die Spannung zwischen diesem bekundeten Bekenntnis und den dokumentierten Fehlern ist genau das, was der Bericht von den Behörden zu lösen fordert.
Kurz gesagt
Gesichtserkennung kann strafrechtliche Ermittlungen unterstützen, aber nur, wenn die Personen, die sie nutzen, verstehen, dass ein Treffer ein Ausgangspunkt und keine Schlussfolgerung ist. Die Inspektion hat ergeben, dass dieses Verständnis unter den Beamten nicht allgemeingültig ist, dass der Algorithmus Vorurteile gegen ethnische Minderheiten aufweist und dass der rechtliche Rahmen für den Einsatz der Technologie unvollständig bleibt. Das Risiko ist nicht nur eine unrechtmäßige Festnahme. Es ist die Erosion des öffentlichen Vertrauens in ein Werkzeug, das bei korrekter Anwendung echten Wert haben könnte.
Basierend auf Berichten von The Guardian.