Une hypothèse fondamentale a tranquillement guidé l’utilisation des données des patients dans la recherche en intelligence artificielle pendant des années. La logique est la suivante : si les noms et les détails d’identification sont supprimés des dossiers médicaux avant que ces dossiers ne soient utilisés pour entraîner un modèle d’IA, les individus derrière les données sont effectivement protégés. Une étude publiée dans Nature par des chercheurs, notamment Haoran Zhang et Marzyeh Ghassemi, tous deux rattachés au Department of Electrical Engineering and Computer Science au MIT, remet directement en question cette hypothèse. Leur analyse des travaux de Knolle et al., également publiés dans Nature, avance un argument précis : à l’ère des puissants modèles de machine-learning, la dé-identification n’est plus la garantie de confidentialité qu’elle était censée être.
Le pacte implicite qui ne tient peut-être plus
La relation entre les patients et les chercheurs en IA a toujours reposé sur un échange. Les patients, et les systèmes de santé qui détiennent leurs dossiers, autorisent l’utilisation de données sensibles à des fins de recherche. En retour, cette recherche est censée produire des outils qui améliorent les soins, que ce soit par des diagnostics plus précoces, de meilleures options de traitement ou des flux de travail cliniques plus efficaces. La dé-identification se trouve au centre de cet arrangement. C’est le mécanisme censé rendre cet échange éthiquement acceptable.
Le problème identifié par Knolle et al. n’est pas que la dé-identification échoue d’un point de vue technique ou procédural. Le problème est plus fondamental. Une fois qu’un modèle de machine-learning a été entraîné sur des données, le modèle lui-même peut devenir une source d’informations sur les individus dont les dossiers ont façonné son contenu. Une personne ayant accès au modèle entraîné, même sans accès au jeu de données d’origine, peut être en mesure de déduire si les données d’une personne spécifique ont été utilisées lors de l’entraînement. Cette classe de vulnérabilité est connue dans la littérature de recherche sous le nom d’attaque par inférence d’appartenance (membership inference attack), et elle a été documentée dans des travaux antérieurs cités dans l’article de Nature, notamment des recherches présentées lors de grandes conférences sur le machine-learning et la sécurité.
Pourquoi les modèles puissants aggravent le problème
C’est ici que l’analyse devient particulièrement importante pour quiconque réfléchit à la trajectoire de l’IA médicale. La préoccupation ne se limite pas aux petits systèmes ou aux systèmes mal conçus. Le commentaire de Nature est explicite : l’hypothèse selon laquelle les données d’entraînement ne peuvent pas être reconstituées à partir d’un modèle est « souvent fausse », en particulier dans le contexte de modèles de machine-learning puissants. Plus le modèle est performant, plus il a tendance à mémoriser les détails de ses données d’entraînement, et plus il devient vulnérable à ce type de fuite de confidentialité.
Cela crée une tension qui se trouve au cœur du développement moderne de l’IA. Les mêmes propriétés qui rendent un modèle cliniquement utile — sa capacité à apprendre des motifs fins à partir de jeux de données vastes et complexes — sont celles qui augmentent le risque en matière de confidentialité. L’optimisation des performances et l’optimisation de la protection de la vie privée peuvent aller dans des directions opposées.
La communauté des chercheurs a proposé des contre-mesures techniques. Une approche, la confidentialité différentielle (differential privacy), consiste à ajouter un bruit soigneusement calibré au processus d’entraînement pour limiter l’influence de n’importe quel point de données individuel sur le modèle final. Des travaux sur cette approche ont été publiés dès 2016, et elle est citée dans l’article de Nature. Mais la confidentialité différentielle implique des compromis : plus la garantie de confidentialité est forte, plus les performances du modèle ont tendance à se dégrader. Ce compromis n’est pas seulement un inconvénient technique. Dans un contexte médical, où la précision d’un modèle peut affecter les résultats diagnostiques, il comporte de réelles conséquences.
Une exposition inégale : qui supporte le risque
Voici ce que la plupart des couvertures médiatiques de ce sujet oublient. Le titre de l’article connexe cité dans le commentaire de Nature est révélateur : « Disparate privacy risks from medical AI » (Risques de confidentialité disparates de l’IA médicale). Le risque n’est pas réparti uniformément entre les populations de patients. Des recherches citées dans l’article, notamment des travaux publiés dans The Lancet Digital Health, ont montré que les systèmes d’IA entraînés sur des données médicales peuvent encoder et refléter des disparités démographiques. La dimension de la confidentialité ajoute une couche supplémentaire à cette préoccupation.
Si certains groupes de patients, définis par des caractéristiques démographiques, des conditions de santé ou le volume de données qu’ils contribuent aux jeux d’entraînement, font face à une exposition plus élevée à l’inférence d’appartenance ou à la reconstruction de données, alors le pacte implicite décrit ci-dessus n’est pas seulement rompu en général. Il est rompu plus sévèrement pour certains que pour d’autres. Les patients qui font peut-être déjà face à des inéquités dans la façon dont les systèmes d’IA les traitent cliniquement pourraient également faire face à de plus grandes vulnérabilités en matière de confidentialité de la part de ces mêmes systèmes.
Il s’agit d’un problème structurel, et non d’un accident de mise en œuvre. Cela souligne la nécessité d’une analyse de la confidentialité désagrégée, ce qui signifie que les chercheurs et les développeurs devraient examiner non seulement si un modèle laisse fuiter des informations en moyenne, mais aussi quels individus ou groupes sont les plus exposés.
En bref
La dé-identification des dossiers médicaux ne garantit pas que les individus sont protégés une fois que leurs données ont été utilisées pour entraîner un modèle d’IA. Des recherches publiées dans Nature par des chercheurs affiliés au MIT, s’appuyant sur les conclusions de Knolle et al., démontrent que les puissants modèles de machine-learning peuvent être interrogés de manière à révéler des informations sur les personnes dont les données les ont façonnés. Les risques pour la confidentialité ne sont pas uniformes : certains patients peuvent être nettement plus exposés que d’autres. L’accord implicite qui a rendu les données des patients disponibles pour la recherche en IA — la promesse que la dé-identification constitue une protection suffisante — doit être réexaminé. Des solutions techniques existent, mais elles impliquent des compromis que le domaine n’a pas encore résolus.
D’après un reportage de Nature: Machine Learning.