L’intelligence artificielle s’impose dans les hôpitaux et les cliniques à un rythme auquel les cadres juridiques et réglementaires n’ont pas su s’adapter. Les outils qui arrivent aujourd’hui font bien plus qu’afficher des données ou signaler des anomalies destinées à être examinées par un médecin. La prochaine génération devrait poser des diagnostics, élaborer des plans de traitement et prendre en charge des patients avec peu ou pas d’intervention humaine. Ce changement crée un problème auquel la médecine n’a jamais été confrontée auparavant : lorsqu’un système d’IA cause un préjudice, les règles existantes d’attribution de la responsabilité risquent de ne s’appliquer à personne.
Le vide de responsabilité créé par l’IA avancée
Le secteur de la santé a traditionnellement fonctionné avec des lignes de responsabilité claires. Les cliniciens sont tenus de respecter des normes de soins. Les hôpitaux doivent organiser des processus sûrs. Les fabricants de dispositifs doivent fournir des produits qui fonctionnent comme prévu. Les organismes de réglementation et de délivrance de permis peuvent intervenir en cas de défaillance de l’une de ces parties. Les tribunaux peuvent établir la responsabilité en cas de préjudice subi par les patients.
Les outils d’IA compliquent chacune de ces lignes simultanément.
Les systèmes actuels fonctionnent encore principalement comme des assistants. Un modèle de risque de sepsis, par exemple, combine des variables physiologiques définies au moyen d’une formule transparente et produit une alerte qu’un clinicien doit examiner avant d’engager tout traitement. Le raisonnement est visible. L’humain reste dans la boucle. En cas de problème, la responsabilité peut toujours être établie par les voies habituelles.
Les outils en cours de développement fonctionnent différemment. Les systèmes avancés de deep learning peuvent parvenir à un diagnostic en détectant des motifs parmi des milliers de variables, à travers des processus que même les médecins qui les utilisent ne peuvent pas retracer. C’est ce que les chercheurs appellent des systèmes « boîte noire » : le résultat peut être correct, mais le cheminement pour y parvenir reste opaque. Lorsqu’une décision prise conjointement par un clinicien et un modèle d’IA opaque entraîne un préjudice pour le patient, les cadres existants de responsabilité médicale ne permettent pas de déterminer qui en porte la responsabilité. Les chercheurs qui écrivent sur le sujet ont qualifié cette situation de vide juridique en matière de responsabilité : une situation dans laquelle une personne subit un préjudice, sans qu’aucune partie n’ait clairement enfreint de règle identifiable.
Les conséquences de cette lacune sont déjà visibles dans les comportements. Les médecins citent l’incertitude juridique comme un obstacle récurrent à l’adoption des outils d’IA, même ceux qui pourraient bénéficier aux patients. Les hôpitaux peuvent éviter de déployer l’IA dans des fonctions où elle pourrait réellement aider, précisément parce que le risque juridique n’est pas défini. Et les fournisseurs de systèmes d’IA sont moins incités à surveiller la sécurité après la mise sur le marché d’un produit s’ils peuvent raisonnablement s’attendre à ce qu’il soit difficile de leur attribuer la faute.
Un cadre à sept niveaux pour évaluer les capacités de l’IA
Un groupe de chercheurs, comprenant Kyle Lam de l’Imperial College London, Mindy Nunez Duffourc de la Maastricht University, Jiankai Sun de la Stanford University, Eric Topol du Scripps Research Translational Institute et Jianing Qiu de la Mohamed bin Zayed University of Artificial Intelligence, a proposé une approche structurée à ce problème. Leur cadre définit sept niveaux de capacité d’IA médicale basés sur trois propriétés : l’autonomie, l’automatisation et le périmètre opérationnel.
L’autonomie désigne la mesure dans laquelle un système raisonne de manière indépendante, sans intervention humaine. L’automatisation décrit les tâches que le système peut exécuter de lui-même. Le périmètre opérationnel définit les limites à l’intérieur desquelles le système est autorisé à fonctionner.
Un même outil peut se situer à des niveaux différents selon le lieu et la manière dont il est déployé. Un système d’imagerie rétinienne utilisé par un service spécialisé en ophtalmologie pour vérifier une décision clinique présente un risque différent du même outil utilisé dans une clinique de soins primaires pour décider de manière autonome d’orienter ou non un patient vers un spécialiste. La technologie est identique ; le contexte de responsabilité ne l’est pas.
Ce cadre s’inspire de précédents issus d’autres domaines à haut risque. La réglementation dans l’aviation et les véhicules autonomes utilise déjà des niveaux gradués pour spécifier les tâches qu’un système doit accomplir, son degré d’indépendance et le moment où un humain doit prendre le relais. Les chercheurs soutiennent qu’une structure comparable pour l’IA médicale fournirait aux régulateurs, aux tribunaux, aux décideurs politiques et aux organismes professionnels de santé un vocabulaire commun pour les outils à venir.
Au bas de l’échelle, le Niveau 0 regroupe les systèmes d’information dépourvus d’autonomie, comme les algorithmes qui gèrent les dossiers médicaux électroniques ou transmettent des données issues d’appareils connectés. Leur comportement est transparent et leurs résultats sont indépendamment vérifiables. Les normes de responsabilité classiques s’y appliquent sans difficulté. Le Niveau 1 concerne les outils d’assistance qui exécutent une tâche unique et définie sous la supervision d’un clinicien, comme le signalement de rythmes cardiaques suspects ou la mise en évidence de nodules pulmonaires potentiels sur un scanner. Le Niveau 2 englobe les systèmes d’aide à la décision qui synthétisent plusieurs flux de données — symptômes, antécédents médicaux, imagerie et recommandations cliniques — pour générer des diagnostics, des plans de traitement ou des scores de risque de triage. Dans les deux cas, le clinicien conserve l’autorité finale.
Pourquoi ce cadre importe au-delà de la médecine
Le problème sous-jacent n’est pas spécifique au secteur de la santé. Il touche à ce qu’il advient des structures de responsabilité lorsqu’une décision lourde de conséquences est prise par un système dont le raisonnement ne peut être pleinement audité par les humains responsables du résultat.
La médecine rend ce problème particulièrement visible en raison des enjeux immédiats et des cadres de responsabilité existants très développés. Cependant, la même tension structurelle apparaît dès lors que des systèmes d’IA autonomes sont intégrés à un jugement professionnel : dans l’analyse juridique, le conseil financier ou la gestion des infrastructures. La question de savoir qui est responsable lorsqu’un système opaque contribue à un préjudice est une question à laquelle chaque secteur déployant une IA avancée devra tôt ou tard répondre.
Ce que propose le cadre présenté, c’est une méthode pour rendre cette question abordable. En classant les systèmes d’IA selon ce qu’ils peuvent faire, leur degré d’indépendance et leur contexte d’utilisation, il devient possible d’établir des attentes réglementaires et des normes de responsabilité avant qu’un préjudice ne survienne, plutôt qu’après. C’est la logique qui sous-tend l’approche de l’aviation concernant les niveaux d’automatisation, et c’est la logique que les chercheurs appliquent à la médecine.
L’absence de tels cadres ne rend pas l’IA plus sûre. Elle rend les conséquences des défaillances plus difficiles à traiter et donne aux institutions prudentes une raison d’éviter des outils qui pourraient pourtant bénéficier aux patients.
En résumé
L’IA médicale évolue d’un rôle d’assistant passif vers celui de décideur actif, et les cadres juridiques conçus pour protéger les patients n’ont pas suivi le rythme. Lorsqu’un système d’IA opaque contribue à un résultat préjudiciable, les règles de responsabilité existantes risquent de ne désigner aucune partie clairement responsable. Une proposition de cadre à sept niveaux, fondé sur l’autonomie, l’automatisation et le périmètre opérationnel, offre un moyen d’aligner les exigences réglementaires sur les capacités réelles de l’IA. L’objectif n’est pas de ralentir l’adoption, mais de rendre la responsabilité suffisamment claire pour que cette adoption puisse se faire en toute sécurité.
D’après un reportage de Nature: Machine Learning.