Un team di ricerca guidato da scienziati della Harvard Medical School ha sviluppato modelli di IA in grado di identificare pazienti a rischio elevato di violenza domestica utilizzando dati già raccolti nelle cartelle cliniche elettroniche. I modelli hanno segnalato un potenziale rischio, in media, più di tre anni prima che le pazienti si iscrivessero a un programma di intervento contro gli abusi domestici basato in ospedale. Il risultato tecnico è reale. Cosa significhi per i sopravvissuti è una questione più complessa.
Cosa vede realmente l’algoritmo
I modelli sono stati addestrati su dati di cartelle cliniche raccolti di routine da pazienti di sesso femminile in un unico centro medico accademico statunitense, e successivamente validati su altre tre coorti di pazienti. I ricercatori stessi hanno osservato che è opportuno condurre un’attenta valutazione delle prestazioni sulla popolazione più ampia di pazienti di sesso femminile prima di qualsiasi implementazione clinica.
Questa avvertenza è importante. Il divario tra un modello validato e uno strumento implementato è il luogo in cui risiede la maggior parte del peso etico. L’IA non osserva la violenza. Ne deduce il rischio dai modelli presenti nei dati medici, modelli che correlano con la violenza domestica senza rivelarla direttamente. Rilevazione e comprensione non sono la stessa cosa, e non lo sono la rilevazione e la risposta.
Il problema di segnalare qualcuno che non ha parlato
Ecco cosa sfuggi alla maggior parte dei servizi giornalistici su questo tipo di ricerca: per chi sperimenta la violenza domestica, il silenzio spesso non è passività. È strategia.
Decidere se rivelare un abuso implica una serie di fattori di cui nessun algoritmo può tenere pienamente conto. Preoccupazioni per la sicurezza, dipendenza finanziaria da un partner abusivo, sfiducia nei confronti dei servizi sociali, paura di non essere creduti e la concreta possibilità che la rivelazione possa innescare procedimenti di allontanamento dei figli. In alcune situazioni, rimanere in silenzio è il modo in cui una persona protegge se stessa e i propri figli.
La cura basata sul trauma e sulla violenza, il quadro di riferimento che guida le migliori pratiche in questo settore, si fonda sui principi di sicurezza, scelta, collaborazione, connessione e costruzione delle capacità. Tali principi esistono proprio perché i sopravvissuti hanno bisogno di mantenere il controllo sulle proprie storie. Un sistema che deduce l’abuso prima che una persona abbia scelto di condividerlo sottrae loro tale controllo, per quanto buone siano le intenzioni della tecnologia sottostante.
Uno dei ricercatori coinvolti ha dichiarato che l’obiettivo dello strumento non è fare pressione sulle pazienti affinché rivelino gli abusi, ma aiutare i medici a comunicare con maggiore compassione e a mettere in contatto le pazienti con il supporto necessario. Questa prospettiva è importante. Lascia anche aperta una domanda fondamentale: cosa succede realmente una volta che una paziente viene segnalata? Il medico è formato per rispondere in modo informato sul trauma? I servizi appropriati sono disponibili e accessibili? La ricerca non risponde ancora a queste domande.
Perché la rilevazione non è la stessa cosa della cura
C’è un secondo rischio che va nella direzione opposta. Se i sistemi sanitari diventano troppo dipendenti dai punteggi di rischio generati dall’IA, l’assenza di una segnalazione potrebbe scoraggiare i medici dal chiedere informazioni sulla violenza. La ricerca sui sistemi di supporto alle decisioni cliniche ha già identificato questo schema: il bias di automazione, ovvero la tendenza dei medici ad affidarsi a raccomandazioni automatizzate anche quando tali raccomandazioni sono errate.
Applicato alla violenza domestica, il bias di automazione potrebbe significare che un sopravvissuto che non corrisponde al profilo di rischio del modello ha meno probabilità di ricevere domande sulla propria esperienza. L’algoritmo diventa un filtro e alcune persone vi si perdono attraverso.
Ciò evidenzia un problema strutturale che l’IA non può risolvere da sola. Anche se un modello identifica correttamente un rischio elevato, il sopravvissuto incontrerà comunque le stesse lacune nei servizi, nella pianificazione della sicurezza e nelle risorse che esistono oggi. Una migliore identificazione non produce automaticamente risultati migliori. L’infrastruttura di risposta deve esistere prima.
Una questione su chi ha il diritto di raccontare la storia
Il significato più ampio di questa ricerca non riguarda realmente i tassi di accuratezza o la validazione del modello. Riguarda un cambiamento nel rapporto tra pazienti e sistemi sanitari, un cambiamento che l’IA sta accelerando in molti ambiti ma che qui assume un peso particolare.
La violenza domestica è definita, in parte, dalla coercizione e dal controllo. La capacità di decidere quando, come e se parlare di quell’esperienza non è un dettaglio procedurale. Per molti sopravvissuti, è una delle poche aree di autonomia di cui dispongono. Uno strumento che rimuove questa scelta, anche in nome di un intervento precoce, riproduce una dinamica che la cura informata sul trauma è specificamente progettata per interrompere.
La prospettiva adottata dagli stessi ricercatori riconosce questa tensione. Qualsiasi implementazione del rilevamento del rischio basato sull’IA, sostengono, deve essere valutata non solo per l’accuratezza predittiva, ma anche rispetto ai principi di sicurezza, scelta, collaborazione, connessione e costruzione delle capacità. Questo è uno standard significativo. Significa anche che distribuire questa tecnologia in modo responsabile richiede molto più di un modello con buone prestazioni.
In breve
L’IA può ora identificare il potenziale rischio di violenza domestica anni prima che i sopravvissuti scelgano di rivelarlo. La capacità tecnica è reale e l’intenzione alla base è migliorare le cure. Il rischio è che la rilevazione precoce, senza un’adeguata formazione clinica, protocolli incentrati sui sopravvissuti e servizi accessibili, possa compromettere proprio l’autonomia che mira a proteggere. Rilevare un problema e rispondervi adeguatamente sono due cose completamente diverse. Il divario tra di esse è il luogo in cui inizia il vero lavoro.
Basato su un articolo di The Conversation.