Un supuesto fundamental ha regido silenciosamente el uso de datos de pacientes en la investigación de inteligencia artificial durante años. La lógica funciona así: si los nombres y los detalles identificativos se eliminan de los historiales médicos antes de que dichos historiales se utilicen para entrenar un modelo de IA, las personas detrás de los datos quedan eficazmente protegidas. Un estudio publicado en Nature por investigadores como Haoran Zhang y Marzyeh Ghassemi, ambos del Departamento de Ingeniería Eléctrica y Ciencia de la Computación en el MIT, desafía directamente ese supuesto. Su análisis del trabajo de Knolle et al., también publicado en Nature, plantea un argumento contundente: en la era de los potentes modelos de aprendizaje automático, la anonimización no es la garantía de privacidad que se suponía.
El pacto implícito que tal vez ya no se sostenga
La relación entre los pacientes y los investigadores de IA siempre se ha basado en un intercambio. Los pacientes, y los sistemas de salud que albergan sus historiales, permiten que se utilicen datos sensibles con fines de investigación. A cambio, se espera que dicha investigación produzca herramientas que mejoren la atención, ya sea mediante diagnósticos más tempranos, mejores opciones de tratamiento o flujos de trabajo clínicos más eficientes. La anonimización se encuentra en el centro de este acuerdo. Es el mecanismo que supuestamente hace que el intercambio sea éticamente aceptable.
El problema identificado por Knolle et al. no es que la anonimización falle en algún sentido técnico o procedimental. El problema es más fundamental. Una vez que se ha entrenado un modelo de aprendizaje automático con datos, el modelo en sí mismo puede convertirse en una fuente de información sobre las personas cuyos historiales lo moldearon. Alguien con acceso al modelo entrenado, incluso sin acceso al conjunto de datos original, podría inferir si los datos de una persona específica se utilizaron en el entrenamiento. Este tipo de vulnerabilidad se conoce en la literatura de investigación como ataque de inferencia de pertenencia, y se ha documentado en trabajos anteriores citados en el artículo de Nature, incluida la investigación presentada en importantes conferencias de aprendizaje automático y seguridad.
Por qué los modelos potentes empeoran el problema
Aquí es donde el análisis se vuelve particularmente importante para cualquier persona que piense en la trayectoria de la IA médica. La preocupación no se limita a sistemas pequeños o mal diseñados. El comentario de Nature es explícito: el supuesto de que los datos de entrenamiento no se pueden reconstruir a partir de un modelo “a menudo no es verdad” específicamente en el contexto de potentes modelos de aprendizaje automático. Cuanto más capaz es el modelo, más tiende a memorizar detalles de sus datos de entrenamiento y más susceptible se vuelve a este tipo de filtración de privacidad.
Esto crea una tensión que se encuentra en el corazón del desarrollo moderno de IA. Las mismas propiedades que hacen que un modelo sea clínicamente útil —su capacidad para aprender patrones detallados a partir de conjuntos de datos grandes y complejos— son las propiedades que aumentan el riesgo de privacidad. Optimizar para el rendimiento y optimizar para la protección de la privacidad pueden ir en direcciones opuestas.
La comunidad de investigación ha propuesto contramedidas técnicas. Un enfoque, la privacidad diferencial, implica añadir ruido cuidadosamente calibrado al proceso de entrenamiento para limitar cuánto puede influir cualquier punto de datos individual en el modelo final. El trabajo sobre este enfoque se publicó ya en 2016, y se cita en el artículo de Nature. Pero la privacidad diferencial implica compensaciones: cuanto más fuerte sea la garantía de privacidad, más tiende a degradarse el rendimiento del modelo. Esa compensación no es meramente un inconveniente técnico. En un contexto médico, donde la precisión del modelo puede afectar los resultados diagnósticos, conlleva consecuencias reales.
Exposición desigual: quién soporta el riesgo
Esto es lo que la mayor parte de la cobertura sobre este tema pasa por alto. El título del artículo relacionado citado en el comentario de Nature es revelador: “Riesgos de privacidad dispares de la IA médica”. El riesgo no se distribuye de manera uniforme entre las poblaciones de pacientes. La investigación citada en el artículo, incluido el trabajo publicado en The Lancet Digital Health, ha demostrado que los sistemas de IA entrenados con datos médicos pueden codificar y reflejar disparidades demográficas. La dimensión de privacidad añade otra capa a esta preocupación.
Si ciertos grupos de pacientes, definidos por características demográficas, condiciones de salud o el volumen de datos que aportan a los conjuntos de entrenamiento, se enfrentan a una mayor exposición a la inferencia de pertenencia o a la reconstrucción de datos, entonces el pacto implícito descrito anteriormente no solo se rompe en general. Se rompe de manera más severa para algunas personas que para otras. Los pacientes que quizás ya se enfrentan a inequidades en la forma en que los sistemas de IA los tratan clínicamente también podrían enfrentarse a mayores vulnerabilidades de privacidad por parte de los mismos sistemas.
Este es un problema estructural, no un accidente de implementación. Apunta a la necesidad de que el análisis de privacidad sea desagregado; es decir, que los investigadores y desarrolladores examinen no solo si un modelo filtra información en promedio, sino qué individuos o grupos están más expuestos.
En resumen
La anonimización de los historiales médicos no garantiza que los individuos estén protegidos una vez que sus datos se han utilizado para entrenar un modelo de IA. La investigación publicada en Nature por investigadores afiliados al MIT, basándose en los hallazgos de Knolle et al., demuestra que se puede consultar a los potentes modelos de aprendizaje automático de maneras que revelan información sobre las personas cuyos datos los moldearon. Los riesgos de privacidad no son uniformes: algunos pacientes pueden estar significativamente más expuestos que otros. Es necesario revisar el acuerdo implícito que ha hecho que los datos de los pacientes estén disponibles para la investigación de IA, la promesa de que la anonimización es una protección suficiente. Existen soluciones técnicas, pero implican compensaciones que el campo aún no ha resuelto.
Basado en información de Nature: Machine Learning.