Uno studio pubblicato su Nature Medicine da ricercatori del MIT, della Stanford University e della Columbia University giunge a una conclusione che contrasta con un presupposto comune nell’IA medica: che spiegazioni migliori rendano gli strumenti di IA più utili per chiunque. La ricerca dimostra che può essere vero il contrario. La stessa funzionalità di spiegabilità che aiuta un medico può fuorviare un non esperto, e lo stesso sistema di IA che migliora l’accuratezza diagnostica in un gruppo può aggravare gli errori in un altro.
Perché le Spiegazioni Non Funzionano Allo Stesso Modo per Tutti
Lo studio ha testato due gruppi: non esperti e operatori di cure primarie, a cui è stato chiesto di diagnosticare malattie della pelle utilizzando immagini mediche, con e senza l’assistenza dell’IA. Gli strumenti di IA variavano nel modo in cui spiegavano le loro predizioni. Alcuni fornivano un livello di confidenza senza ulteriori spiegazioni. Altri utilizzavano mappe termiche per evidenziare le regioni rilevanti dell’immagine. Altri ancora utilizzavano LLM per generare spiegazioni in linguaggio semplice del ragionamento del modello.
I non esperti hanno migliorato la loro accuratezza diagnostica con tutti gli approcci di IA spiegabile. Ma il miglioramento aveva un risvolto. Era guidato in gran parte dalla deferenza: gli utenti seguivano l’IA piuttosto che ragionare insieme a essa. Quando il modello sbagliava, i non esperti tendevano a seguirlo nella risposta errata. L’effetto era più forte con le spiegazioni basate su LLM. Gli utenti erano più sicuri delle loro risposte errate quando un LLM aveva spiegato il ragionamento, e trovavano le spiegazioni vaghe o generiche più convincenti, non meno.
I medici si sono comportati diversamente. Erano resilienti agli output errati dell’IA e ottenevano i risultati migliori quando veniva fornita solo la predizione del modello, senza alcuna spiegazione di accompagnamento. Tra tutti i metodi testati, le spiegazioni degli LLM hanno aumentato meno l’accuratezza dei medici.
Orson Xu, autore principale e assistente professore di scienza dei dati biomedici presso la Columbia University, descrive chiaramente questa dinamica: un medico ha già una diagnosi di lavoro e usa l’IA come controllo rispetto alla propria formazione, quindi una spiegazione difettosa viene intercettata. Un non esperto, privo di quelle fondamenta, usa la spiegazione per formarsi un’opinione fin dall’inizio. Lo stesso strumento diventa una risorsa per un utente e una passività per l’altro.
L’Effetto Deferenza e i Fattori che lo Guidano
I ricercatori hanno identificato un modello che chiamano effetto deferenza: gli utenti che facevano più affidamento sull’assistenza dell’IA erano anche quelli con le prestazioni peggiori quando lavoravano senza di essa. Questo non è una coincidenza. Riflette come opera il bias di automazione. Quando un sistema presenta una spiegazione sicura e coerente, gli utenti vi si agganciano, anche quando la predizione sottostante è errata.
Anche il tempismo è importante. Lo studio ha riscontrato che presentare una spiegazione dell’IA prima che un utente abbia formato la propria ipotesi aumenta la deferenza. Gli utenti che hanno visto per prima cosa il ragionamento dell’IA sono diventati più inclini a seguirlo in modo acritico. Ciò suggerisce che la sequenza in cui le informazioni vengono fornite, e non solo il loro contenuto, modella il modo in cui le persone ragionano.
Ci sono state anche scoperte riguardanti l’equità. Quando i ricercatori hanno utilizzato un modello vincolato all’equità progettato per ridurre il bias nei confronti dei toni di pelle più scuri, il sistema ha migliorato significativamente l’accuratezza e ridotto le disparità diagnostiche basate sul tono della pelle. Ciò indica una dimensione di progettazione che va oltre la sola accuratezza: chi trae beneficio dall’assistenza dell’IA, e a quali condizioni, è modellato da come viene costruito il modello.
Marzyeh Ghassemi, professoressa associata presso il Dipartimento di Ingegneria Elettrica e Informatica del MIT e principal investigator presso il Laboratory for Information and Decision Systems, delinea la tensione centrale: l’assistenza dell’IA può migliorare le prestazioni in ambito sanitario, ma tale beneficio deve essere bilanciato con il rischio che la deferenza algoritmica porti a un maggior numero di errori. Sia i sistemi di IA che i metodi di spiegabilità possono attivare il bias di automazione, e tale effetto di ancoraggio deve essere tenuto in considerazione nella progettazione.
Cosa Significa Questo Oltre la Dermatologia
Questa ricerca è importante al di là della diagnosi delle malattie della pelle. Fa emergere un problema strutturale nel modo in cui l’IA medica viene spesso implementata: gli strumenti vengono valutati in base alle prestazioni medie tra gli utenti, ma le persone che rischiano di trarre il maggior vantaggio dall’assistenza dell’IA sono spesso quelle più vulnerabili all’essere fuorviate da essa.
Roxana Daneshjou, coautrice e assistente professoressa di scienza dei dati biomedici e dermatologia presso la Stanford University, lo spiega chiaramente: coloro che hanno minor conoscenza medica sono i più inclini a essere sviati quando un modello di IA spiegabile produce un output erroneo. Questo non è un caso limite marginale. I non esperti utilizzano sempre più spesso strumenti basati sull’IA per valutare la propria salute, e diverse interfacce di IA approvate dalla FDA sono già in uso per aiutare i medici a identificare le condizioni della pelle nelle immagini mediche.
L’implicazione per la progettazione è concreta. Piuttosto che generare spiegazioni LLM più dettagliate, i ricercatori suggeriscono un approccio diverso: richiedere agli utenti di formulare prima un’ipotesi diagnostica, quindi presentare il suggerimento dell’IA come stimolo per considerare altre possibilità. L’obiettivo è usare l’IA per ampl ampliar il pensiero, non per sostituirlo. Come nota Ghassemi, il rischio di attivare il bias di automazione è che quando il modello sbaglia, gli utenti non possono più recuperare.
Questo è ciò che la maggior parte della copertura mediatica sull’IA medica tralascia. La questione non è se l’IA migliora la diagnosi. In molti casi, lo fa. La questione è per chi, a quali condizioni e con quali scelte di progettazione in atto.
In Breve
Le spiegazioni dell’IA nella diagnosi medica non aiutano tutti gli utenti allo stesso modo. I non esperti migliorano la loro accuratezza ma in gran parte deferendo al modello, il che li rende più vulnerabili quando il modello sbaglia. I medici sono più resilienti agli errori dell’IA e traggono il minor beneficio da spiegazioni dettagliate. La stessa funzionalità di spiegabilità può supportare il ragionamento dell’esperto e minare il giudizio del non esperto. Progettare l’IA per gli ambienti sanitari richiede di sapere chi utilizzerà il sistema e di costruire strumenti che incoraggino il pensiero critico piuttosto che la cieca dipendenza.
Basato su un articolo di MIT News AI.