The Brief
Société et éthique 5 min de lecture

Détecté avant d'être révélé : Le angle mort de l'IA dans la prise en charge des abus

NAVION

Partager

Une équipe de recherche dirigée par des scientifiques de la Harvard Medical School a développé des IA models capables d’identifier les patientes présentant un risque élevé de violence conjugale en utilisant des données déjà collectées dans les dossiers médicaux électroniques. Les models ont signalé un risque potentiel, en moyenne, plus de trois ans avant que les patientes ne s’inscrivent dans un programme d’intervention contre la violence domestique en milieu hospitalier. La réussite technique est réelle. Ce que cela signifie pour les survivantes est une question plus difficile.

Ce que l’algorithme voit réellement

Les models ont été entraînés sur des données de dossiers médicaux régulièrement collectées auprès de patientes dans un seul centre médical universitaire américain, puis validés sur trois cohortes de patientes supplémentaires. Les chercheurs eux-mêmes ont souligné qu’une évaluation minutieuse des performances sur la population plus large de patientes devrait être menée avant toute mise en œuvre clinique.

Cette mise en garde a de l’importance. L’écart entre un model validé et un outil déployé est l’endroit où réside la plus grande part du poids éthique. L’IA n’observe pas la violence. Elle déduit le risque à partir de motifs dans les données médicales, des motifs qui corrèlent avec la violence conjugale sans la révéler directement. La détection et la compréhension ne sont pas la même chose, et la détection et la réponse ne le sont pas non plus.

Le problème lorsqu’on signale quelqu’un qui n’a pas parlé

Voici ce que la plupart des reportages sur ce type de recherche oublient : pour une personne victime de violence conjugale, le silence n’est souvent pas de la passivité. C’est une stratégie.

Décider de divulguer des abus implique une série de facteurs qu’aucun algorithme ne peut pleinement prendre en compte. Les préoccupations en matière de sécurité, la dépendance financière envers un partenaire violent, la méfiance envers les services sociaux, la peur de ne pas être cru et la possibilité bien réelle que la divulgation déclenche des procédures de retrait d’enfants. Dans certaines situations, garder le silence est la façon dont une personne assure sa sécurité et celle de ses enfants.

Les soins informés par les traumatismes et la violence, le cadre qui guide les meilleures pratiques dans ce domaine, reposent sur des principes de sécurité, de choix, de collaboration, de connexion et de renforcement des capacités. Ces principes existent précisément parce que les survivantes ont besoin de garder le contrôle sur leur propre histoire. Un système qui déduit des abus avant qu’une personne n’ait choisi de les partager leur retire ce contrôle, aussi bien intentionnée que soit la technologie sous-jacente.

L’un des chercheurs impliqués a déclaré que l’objectif de l’outil n’est pas de faire pression sur les patientes pour qu’elles fassent des révélations, mais d’aider les cliniciens à communiquer avec plus de compassion et à connecter les patientes avec du soutien. Ce cadrage est important. Il laisse également ouverte une question cruciale : que se passe-t-il réellement une fois qu’une patiente est signalée ? Le clinicien est-il formé pour répondre d’une manière informée par les traumatismes ? Des services appropriés sont-ils disponibles et accessibles ? La recherche ne répond pas encore à ces questions.

Pourquoi la détection n’est pas la même chose que la prise en charge

Il y a un deuxième risque qui va dans la direction opposée. Si les systèmes de santé deviennent trop dépendants des scores de risque générés par l’IA, l’absence de signalement pourrait décourager les prestataires de poser des questions sur la violence. La recherche sur les systèmes d’aide à la décision clinique a déjà identifié ce schéma : le biais d’automatisation, c’est-à-dire la tendance des cliniciens à s’en remettre à des recommandations automatisées même lorsque ces recommandations sont erronées.

Appliqué à la violence conjugale, le biais d’automatisation pourrait signifier qu’une survivante qui ne correspond pas au profil de risque du model a moins de chances d’être interrogée sur son expérience. L’algorithme devient un filtre, et certaines personnes passent à travers.

Cela pointe vers un problème structurel que l’IA ne peut pas résoudre seule. Même si un model identifie correctement un risque élevé, la survivante rencontrera toujours les mêmes lacunes dans les services, la planification de la sécurité et les ressources qui existent aujourd’hui. Une meilleure identification ne produit pas automatiquement de meilleurs résultats. L’infrastructure de réponse doit être en place d’abord.

Une question sur qui a le droit de raconter l’histoire

La portée plus large de cette recherche ne concerne pas vraiment les taux de précision ou la validation des models. Elle concerne un changement dans la relation entre les patientes et les systèmes de santé, un changement que l’IA accélère dans de nombreux domaines mais qui revêt ici un poids particulier.

La violence conjugale est définie, en partie, par la coercition et le contrôle. La capacité de décider quand, comment et s’il faut parler de cette expérience n’est pas un détail procédural. Pour de nombreuses survivantes, c’est l’un des rares domaines d’autonomie qu’elles possèdent. Un outil qui supprime ce choix, même au nom de l’intervention précoce, reproduit une dynamique que les soins informés par les traumatismes sont spécifiquement conçus pour perturber.

Le propre cadrage des chercheurs reconnaît cette tension. Toute mise en œuvre de la détection des risques basée sur l’IA, soutiennent-ils, doit être évaluée non seulement pour sa précision prédictive, mais aussi par rapport aux principes de sécurité, de choix, de collaboration, de connexion et de renforcement des capacités. C’est une norme significative. Cela signifie également que le déploiement responsable de cette technologie exige bien plus qu’un model performant.

En bref

L’IA peut désormais identifier le risque potentiel de violence conjugale des années avant que les survivantes ne choisissent de le divulguer. La capacité technique est réelle et l’intention derrière celle-ci est d’améliorer les soins. Le risque est que la détection précoce, sans la formation clinique adéquate, les protocoles centrés sur les survivantes et les services accessibles, puisse compromettre l’autonomie même qu’elle vise à protéger. Détecter un problème et y répondre correctement sont deux choses entièrement différentes. L’écart entre les deux est là où le véritable travail commence.

D’après un reportage de The Conversation.

Rédigé par

NAVION