L’intelligenza artificiale sta entrando negli ospedali e nelle cliniche a un ritmo che i quadri normativi e legali non sono riusciti a tenere. Gli strumenti che stanno arrivando ora fanno molto di più che mostrare dati o segnalare anomalie affinché un medico le esamini. Si prevede che la prossima generazione formuli diagnosi, elabori piani di trattamento e gestisca i pazienti con un intervento umano minimo o nullo. Questo passaggio crea un problema che la medicina non ha mai affrontato prima: quando un sistema di IA causa un danno, le regole esistenti per l’assegnazione della responsabilità potrebbero non essere applicabili a nessuno.
Il vuoto di responsabilità aperto dall’IA avanzata
La sanità ha tradizionalmente operato con chiare linee di responsabilità. I clinici sono tenuti a rispettare uno standard di cura. Gli ospedali devono organizzare processi sicuri. I produttori di dispositivi devono fornire prodotti che funzionino come previsto. Gli enti regolatori e di accreditamento possono intervenire quando una di queste parti viene meno ai propri doveri. I tribunali possono determinare la responsabilità quando i pazienti subiscono un danno.
Gli strumenti di IA complicano ciascuna di queste linee contemporaneamente.
I sistemi attuali operano ancora in gran parte come assistenti. Un modello di rischio di sepsi, ad esempio, combina variabili fisiologiche definite attraverso una formula trasparente e produce un avviso che un clinico deve valutare prima di intraprendere qualsiasi trattamento. Il ragionamento è visibile. L’essere umano rimane nel circuito decisionale. La responsabilità, se qualcosa va storto, può ancora essere ricostruita attraverso i canali tradizionali.
Gli strumenti in fase di sviluppo ora funzionano diversamente. I sistemi avanzati di deep learning possono arrivare a una diagnosi individuando pattern tra migliaia di variabili, attraverso processi che persino i medici che li utilizzano non possono ricostruire. È ciò che i ricercatori chiamano sistemi “scatola nera” (black-box): l’output può essere corretto, ma il percorso per arrivarci è opaco. Quando una decisione presa congiuntamente da un clinico e da un modello di IA opaco causa un danno al paziente, i quadri di responsabilità medica esistenti non stabiliscono chi debba farsene carico. I ricercatori che scrivono su questo tema hanno identificato il risultato come un vuoto di responsabilità (liability gap): una situazione in cui qualcuno viene danneggiato, ma nessuna parte ha chiaramente violato una regola identificabile.
Le conseguenze di questo vuoto sono già visibili nei comportamenti. I medici citano l’incertezza giuridica come un ostacolo ricorrente all’adozione di strumenti di IA, anche di quelli che potrebbero portare benefici ai pazienti. Gli ospedali potrebbero evitare di implementare l’IA in funzioni in cui potrebbe essere davvero d’aiuto, proprio perché il rischio legale non è definito. E i fornitori di sistemi di IA hanno meno incentivi a monitorare la sicurezza dopo che un prodotto è entrato sul mercato se possono ragionevolmente aspettarsi che sarà difficile attribuire le colpe.
Un quadro a sette livelli per valutare le capacità dell’IA
Un gruppo di ricercatori, tra cui Kyle Lam dell’Imperial College London, Mindy Nunez Duffourc della Maastricht University, Jiankai Sun della Stanford University, Eric Topol dello Scripps Research Translational Institute e Jianing Qiu della Mohamed bin Zayed University of Artificial Intelligence, ha proposto un approccio strutturato a questo problema. Il loro framework definisce sette livelli di capacità dell’IA medica sulla base di tre proprietà: autonomia, automazione e ambito operativo.
L’autonomia si riferisce a quanto indipendentemente un sistema sia in grado di ragionare senza l’intervento umano. L’automazione descrive quali compiti il sistema può eseguire autonomamente. L’ambito operativo definisce i limiti all’interno dei quali al sistema è consentito funzionare.
Lo stesso strumento può collocarsi a livelli diversi a seconda di dove e come viene impiegato. Un sistema di imaging retinico utilizzato da un servizio oculistico specializzato per ricontrollare una decisione clinica comporta un rischio diverso rispetto allo stesso identico strumento utilizzato in una clinica di assistenza primaria per decidere in modo autonomo se inviare un paziente a uno specialista. La tecnologia è la stessa. Il contesto di responsabilità no.
Il framework si basa su precedenti di altri settori ad alto rischio. L’aviazione e la regolamentazione dei veicoli autonomi utilizzano già livelli graduali per specificare quali compiti un sistema debba eseguire, con quale grado di indipendenza e in quale momento un essere umano debba subentrare. I ricercatori sostengono che una struttura comparabile per l’IA medica fornirebbe a enti regolatori, tribunali, decisori politici e ordini professionali sanitari un linguaggio comune per gli strumenti in arrivo.
All’estremità inferiore della scala, il Livello 0 comprende i sistemi informativi privi di autonomia, come gli algoritmi che gestiscono le cartelle cliniche elettroniche o trasmettono dati in streaming da dispositivi indossabili. Il loro comportamento è trasparente e i loro risultati sono verificabili in modo indipendente. Gli standard di responsabilità convenzionali si applicano senza difficoltà. Il Livello 1 comprende strumenti di assistenza che eseguono un singolo compito definito sotto la supervisione del clinico, come la segnalazione di ritmi cardiaci sospetti o l’evidenziazione di potenziali noduli polmonari in una scansione. Il Livello 2 copre i sistemi di supporto alle decisioni che sintetizzano molteplici flussi di dati — tra cui sintomi, anamnesi, imaging e linee guida cliniche — per produrre diagnosi, piani terapeutici o punteggi di rischio per il triage. In entrambi i casi, il clinico mantiene l’autorità finale.
Perché questo framework è importante al di là della medicina
La questione più profonda qui non riguarda solo la sanità. Riguarda ciò che accade alle strutture di responsabilità quando una decisione di grande impatto viene presa da un sistema il cui ragionamento non può essere completamente sottoposto ad audit dagli esseri umani responsabili del risultato.
La medicina rende questo problema insolitamente visibile perché la posta in gioco è immediata e i quadri di responsabilità esistenti sono ben sviluppati. Ma la stessa tensione strutturale si presenta ovunque i sistemi di IA autonoma siano integrati nella valutazione professionale: nell’analisi legale, nella consulenza finanziaria, nella gestione delle infrastrutture. La domanda su chi sia responsabile quando un sistema opaco contribuisce a un danno è una questione a cui ogni settore che adotta l’IA avanzata prima o poi dovrà rispondere.
Ciò che il framework proposto offre è un modo per rendere questa domanda affrontabile. Classificando i sistemi di IA in base a ciò che possono fare, a quanto indipendentemente lo fanno e in quale contesto, diventa possibile stabilire aspettative normative e standard di responsabilità prima che si verifichi un danno, anziché dopo. È la logica alla base dell’approccio dell’aviazione ai livelli di automazione, ed è la logica che i ricercatori stanno applicando alla medicina.
L’assenza di tali quadri normativi non rende l’IA più sicura. Rende più difficile affrontare le conseguenze di un errore e fornisce alle istituzioni più caute un motivo per evitare strumenti che potrebbero aiutare i pazienti.
In breve
L’IA medica sta evolvendo da assistente passivo a decisore attivo, e i quadri legali progettati per proteggere i pazienti non hanno tenuto il passo. Quando un sistema di IA opaco contribuisce a un esito dannoso, le regole di responsabilità esistenti rischiano di non individuare chiaramente alcun responsabile. Un quadro proposto a sette livelli, basato su autonomia, automazione e ambito operativo, offre un modo per allineare le aspettative normative alle reali capacità dell’IA. L’obiettivo non è rallentare l’adozione, ma rendere la responsabilità sufficientemente chiara affinché l’adozione possa procedere in tutta sicurezza.
Basato su un articolo di Nature: Machine Learning.