Un estudio publicado en Nature Medicine por investigadores de MIT, Stanford University y Columbia University llega a una conclusión que va en contra de una suposición común en la IA médica: que las mejores explicaciones hacen que las herramientas de IA sean más útiles para todos. La investigación demuestra que puede ocurrir lo contrario. La misma función de explicabilidad que ayuda a un médico puede engañar a un no experto, y el mismo sistema de IA que mejora la precisión diagnóstica en un grupo puede profundizar los errores en otro.
Por qué las explicaciones no funcionan de la misma manera para todos
El estudio evaluó a dos grupos: no expertos y proveedores de atención primaria, a quienes se les pidió que diagnosticaran enfermedades de la piel utilizando imágenes médicas, con y sin asistencia de IA. Las herramientas de IA variaban en cómo explicaban sus predicciones. Algunas proporcionaban un nivel de confianza sin mayor explicación. Otras utilizaban mapas de calor para resaltar las regiones relevantes de la imagen. Otras más utilizaban LLM para generar explicaciones en lenguaje sencillo sobre el razonamiento del modelo.
Los no expertos mejoraron su precisión diagnóstica en todos los enfoques de IA explicable. Pero la mejora vino con trampa. Se debió en gran medida a la deferencia: los usuarios seguían a la IA en lugar de razonar junto con ella. Cuando el modelo se equivocaba, los no expertos tendían a seguirlo hacia la respuesta incorrecta. El efecto fue más fuerte con las explicaciones basadas en LLM. Los usuarios tenían más confianza en sus respuestas incorrectas cuando un LLM había explicado el razonamiento, y encontraban las explicaciones vagas o genéricas más convincentes, no menos.
Los médicos se comportaron de manera diferente. Fueron resilientes a los resultados incorrectos de la IA y obtuvieron mejores resultados cuando se les dio solo la predicción del modelo, sin ninguna explicación adjunta. De todos los métodos probados, las explicaciones de LLM impulsaron la precisión de los médicos en menor medida.
Orson Xu, autor principal y profesor asistente de ciencia de datos biomédicos en Columbia University, describe la dinámica con claridad: un médico ya tiene un diagnóstico de trabajo y usa la IA como una comprobación frente a su propia formación, por lo que una explicación defectuosa es detectada. Un no experto, carente de esa base, utiliza la explicación para formarse una opinión en primer lugar. La misma herramienta se convierte en un activo para un usuario y en un lastre para el otro.
El efecto de deferencia y qué lo impulsa
Los investigadores identificaron un patrón al que llaman el efecto de deferencia: los usuarios que dependían más fuertemente de la asistencia de IA eran también los de peor rendimiento cuando trabajaban sin ella. Esto no es una coincidencia. Refleja cómo opera el sesgo de automatización. Cuando un sistema presenta una explicación segura y coherente, los usuarios se anclan a ella, incluso cuando la predicción subyacente es errónea.
El momento también importa. El estudio descubrió que presentar una explicación de la IA antes de que el usuario haya formado su propia hipótesis aumenta la deferencia. Los usuarios que vieron primero el razonamiento de la IA se volvieron más propensos a seguirlo sin espíritu crítico. Esto sugiere que la secuencia en la que se entrega la información, no solo su contenido, da forma a cómo razonan las personas.
También hubo hallazgos sobre la equidad. Cuando los investigadores utilizaron un modelo restringido por equidad diseñado para reducir el sesgo contra los tonos de piel más oscuros, el sistema mejoró significativamente la precisión y redujo las disparidades diagnósticas basadas en el tono de piel. Esto apunta a una dimensión de diseño que va más a allá de la precisión por sí sola: quién se beneficia de la asistencia de IA, y bajo qué condiciones, está determinado por cómo se construye el modelo.
Marzyeh Ghassemi, profesora asociada en el Departamento de Ingeniería Eléctrica y Ciencia de la Computación de MIT e investigadora principal en el Laboratory for Information and Decision Systems, enmarca la tensión central: la asistencia de IA puede mejorar el rendimiento en entornos de salud, pero ese beneficio debe sopesarse frente al riesgo de que la deferencia algorítmica conduzca a más errores. Tanto los sistemas de IA como los métodos de explicabilidad pueden activar el sesgo de automatización, y ese efecto de anclaje debe tenerse en cuenta en el diseño.
Lo que esto significa más allá de la dermatología
Esta investigación importa más allá del diagnóstico de enfermedades de la piel. Saca a la luz un problema estructural en cómo se despliega a menudo la IA médica: las herramientas se evalúan según el rendimiento medio entre usuarios, pero las personas que más pueden ganar con la asistencia de IA son con frecuencia las más vulnerables a ser engañadas por ella.
Roxana Daneshjou, coautora y profesora asistente de ciencia de datos biomédicos y dermatología en Stanford University, lo plantea directamente: aquellos con menor conocimiento médico son los más propensos a ser desviados cuando un modelo de IA explicable produce un resultado erróneo. Este no es un caso límite marginal. Los no expertos utilizan cada vez más herramientas impulsadas por IA para evaluar su propia salud, y varias interfaces de IA aprobadas por la FDA ya están en uso para ayudar a los médicos a identificar afecciones cutáneas en imágenes médicas.
La implicación para el diseño es concreta. En lugar de generar explicaciones de LLM más detalladas, los investigadores sugieren un enfoque diferente: exigir a los usuarios que formen primero una hipótesis diagnóstica, y luego presentar la sugerencia de la IA como un estímulo para considerar otras posibilidades. El objetivo es utilizar la IA para ampliar el pensamiento, no para reemplazarlo. Como señala Ghassemi, el riesgo de activar el sesgo de automatización es que cuando el modelo se equivoca, los usuarios ya no pueden recuperarse.
Esto es lo que la mayor parte de la cobertura sobre la IA médica pasa por alto. La pregunta no es si la IA mejora el diagnóstico. En muchos casos, lo hace. La pregunta es para quién, bajo qué condiciones y con qué opciones de diseño implementadas.
En resumen
Las explicaciones de la IA en el diagnóstico médico no ayudan a todos los usuarios por igual. Los no expertos mejoran su precisión, pero en gran medida al deferir al modelo, lo que los hace más vulnerables cuando el modelo se equivoca. Los médicos son más resilientes a los errores de la IA y se benefician menos de las explicaciones detalladas. La misma función de explicabilidad puede respaldar el razonamiento de los expertos y socavar el juicio de los no expertos. Diseñar IA para entornos de salud requiere saber quién usará el sistema y construir herramientas que fomenten el pensamiento crítico en lugar de la confianza ciega.
Basado en información de MIT News AI.