Une inspection formelle sur la manière dont la police britannique utilise la technologie de reconnaissance faciale a abouti à un constat qui touche au cœur même des défaillances possibles des systèmes d’IA en pratique. Le problème ne réside pas seulement dans le fait que la technologie commet des erreurs. Il réside dans le fait que les agents traitent parfois ces erreurs comme des faits.
Quand un score de probabilité devient un mandat
L’organisme de contrôle de la police britannique, le His Majesty’s Inspectorate of Constabulary, a publié un rapport examinant la reconnaissance faciale rétrospective, c’est à dire la forme de technologie utilisée pour interroger des bases de données d’images existantes plutôt que pour scanner des foules en temps réel. Le rapport constate que même cette application moins controversée comporte de sérieux risques lorsque les humains qui l’exploitent ne comprennent pas ce que ses résultats signifient réellement.
Le problème fondamental est une erreur de catégorie. Les résultats de la reconnaissance faciale constituent un renseignement, une piste à creuser, et non une preuve pouvant justifier à elle seule une mesure coercitive. Pourtant, le rapport a révélé que certains enquêteurs ignoraient l’existence de cette distinction. Dans un petit nombre de cas, des agents ont agi sur la base de correspondances potentielles sans effectuer de vérifications complémentaires suffisantes. Le résultat, dans ces situations, a été ce que le rapport qualifie d’« action d’enquête inappropriée ».
C’est précisément ce que la plupart des reportages sur la reconnaissance faciale omettent. Le débat a tendance à se focaliser sur la question de savoir si la technologie devrait exister. Le rapport déplace la question, car même là où la technologie est autorisée, les personnes qui l’utilisent sont elles équipées pour le faire correctement. La réponse, dans au moins certains cas documentés, est négative.
Biais, mauvaises images et garanties manquantes
Le rapport identifie plusieurs problèmes cumulatifs. L’algorithme lui-même comporte des biais, notamment une probabilité plus élevée de signaler à tort des personnes issues de minorités ethniques comme des suspects. Ce constat n’est pas nouveau dans le domaine plus large de la recherche sur la reconnaissance faciale, mais sa présence dans une inspection officielle de l’utilisation policière active lui confère un poids particulier.
La qualité des images injectées dans le système compte également. Les contrôleurs ont découvert des cas où des agents avaient téléchargé des images floues ou contenant plusieurs visages, deux facteurs qui réduisent la fiabilité de toute correspondance renvoyée par le système. La technologie ne peut fonctionner qu’en fonction des données qui lui sont fournies.
Jasleen Chaggar de Big Brother Watch a soulevé une préoccupation supplémentaire, à savoir que la police ne consigne pas systématiquement son utilisation de la reconnaissance faciale rétrospective. Cela signifie que des individus pourraient devenir des suspects dans des enquêtes criminelles sans qu’aucun enregistrement transparent n’explique pourquoi ils ont été signalés, et sans aucun moyen pratique de contester la procédure.
Le rapport a également révélé que des images de garde à vue qui auraient dû être supprimées ont été conservées, créant un risque supplémentaire pour la confiance du public. À la base de tout cela se trouve un vide juridique. Comme le stipule le rapport, la loi n’a pas suivi le rythme de la technologie. Il n’existe pas de cadre législatif complet régissant l’utilisation de la reconnaissance faciale, ce qui rend plus difficile pour les forces de police la compréhension de ce qui est légalement permis et des garanties requises.
Le professeur Pete Fussey de l’Université de Southampton, ancien conseiller de la police en matière de reconnaissance faciale, a résumé clairement la dimension juridique : un examen humain significatif des systèmes d’IA constitue déjà une obligation légale, et pourtant le rapport documente des cas où des enquêteurs ont accepté le résultat de l’ordinateur sans vérification supplémentaire.
Ce que cela révèle sur l’IA dans les environnements à haut risque
Le cas de la reconnaissance faciale est l’illustration spécifique d’un défi beaucoup plus vaste. Lorsque des systèmes d’IA sont déployés dans des environnements où leurs résultats peuvent déclencher des conséquences dans le monde réel, telles qu’une arrestation, une décision médicale ou une action financière, les humains impliqués doivent comprendre précisément ce que le système leur indique et ce qu’il ne leur indique pas.
Une correspondance générée par l’IA n’est pas une conclusion. C’est un signal qui justifie un examen plus approfondi. Dès que cette distinction s’effondre, le système cesse d’amplifier le jugement humain pour commencer à le remplacer, et ce d’une manière qui ne sert les intérêts de personne. Kathryn Stone, inspectrice principale des services de police britanniques, a formulé cela de manière explicite : les décisions doivent rester soumises au jugement humain, et des garanties appropriées doivent être manifestement en place.
L’appel du rapport en faveur d’un cadre législatif plus clair, de normes nationales renforcées et d’une meilleure gouvernance ne relève pas de la prudence bureaucratique. Il reflète un décalage réel entre la rapidité avec laquelle la technologie a été adoptée et la lenteur avec laquelle les structures institutionnelles qui l’entourent se sont développées. La technologie avance plus vite que la loi, et c’est précisément dans cet écart que les préjudices ont tendance à se produire.
Ben Russell du National Police Chiefs’ Council a pris acte du rapport tout en affirmant l’engagement de la police en faveur d’une utilisation éthique et proportionnée de la technologie. La tension entre cet engagement affiché et les défaillances documentées est exactement ce que le rapport demande aux forces de l’ordre de résoudre.
En bref
La reconnaissance faciale peut soutenir les enquêtes criminelles, mais uniquement si les personnes qui l’utilisent comprennent qu’une correspondance est un point de départ et non une conclusion. L’inspection a révélé que cette compréhension n’est pas universelle parmi les agents, que l’algorithme comporte des biais envers les minorités ethniques et que le cadre juridique régissant l’utilisation de la technologie reste incomplet. Le risque ne se limite pas à une arrestation injustifiée. Il s’agit de l’érosion de la confiance du public envers un outil qui, utilisé correctement, pourrait avoir une réelle valeur.
D’après un reportage de The Guardian.