La inteligencia artificial está llegando a los hospitales y clínicas a un ritmo que los marcos legales y regulatorios no han podido seguir. Las herramientas que llegan ahora hacen más que mostrar datos o señalar anomalías para que las revise un médico. Se espera que la próxima generación realice diagnósticos, elabore planes de tratamiento y gestione a los pacientes con poca o ninguna intervención humana. Ese cambio crea un problema al que la medicina no se ha enfrentado antes: cuando un sistema de IA causa un daño, es posible que las reglas existentes para asignar responsabilidades no se apliquen a nadie.
La brecha de responsabilidad que abre la IA avanzada
El sector de la salud ha operado tradicionalmente con líneas de responsabilidad claras. Los profesionales médicos deben cumplir con un estándar de atención. Los hospitales deben organizar procesos seguros. Los fabricantes de dispositivos deben ofrecer productos que funcionen según lo previsto. Los organismos reguladores y de acreditación pueden intervenir cuando cualquiera de estas partes no cumple con sus obligaciones. Los tribunales pueden determinar la responsabilidad legal cuando los pacientes sufren daños.
Las herramientas de IA complican cada una de estas líneas simultáneamente.
Los sistemas actuales todavía operan en gran medida como asistentes. Un modelo de riesgo de sepsis, por ejemplo, combina variables fisiológicas definidas a través de una fórmula transparente y genera una alerta que un médico debe revisar antes de proceder con cualquier tratamiento. El razonamiento es visible. El ser humano permanece en el proceso. La responsabilidad legal, si algo sale mal, se puede seguir rastreando a través de los canales habituales.
Las herramientas que se están desarrollando ahora funcionan de manera diferente. Los sistemas avanzados de deep learning pueden llegar a un diagnóstico detectando patrones a través de miles de variables, mediante procesos que ni siquiera los médicos que los utilizan pueden reconstruir. Estos son los que los investigadores llaman sistemas de “caja negra”: el resultado puede ser correcto, pero el camino para llegar a él es opaco. Cuando una decisión tomada conjuntamente por un médico y un modelo de IA opaco causa daños a un paciente, los marcos de responsabilidad médica existentes no determinan quién asume la responsabilidad. Los investigadores que escriben sobre este tema han identificado el resultado como una brecha de responsabilidad legal: una situación en la que alguien sufre un daño, pero ninguna de las partes ha infringido claramente una norma identificable.
Las consecuencias de esa brecha ya son visibles en el comportamiento. Los médicos citan la incertidumbre legal como una barrera recurrente para adoptar herramientas de IA, incluso aquellas que podrían beneficiar a los pacientes. Los hospitales pueden evitar desplegar la IA en funciones donde realmente podría ayudar, precisamente porque el riesgo legal no está definido. Y los proveedores de sistemas de IA tienen menos incentivos para supervisar la seguridad una vez que el producto llega al mercado si prevén razonablemente que atribuir la culpa será difícil.
Un marco de siete niveles para clasificar la capacidad de la IA
Un grupo de investigadores, entre ellos Kyle Lam del Imperial College London, Mindy Nunez Duffourc de la Maastricht University, Jiankai Sun de la Stanford University, Eric Topol del Scripps Research Translational Institute y Jianing Qiu de la Mohamed bin Zayed University of Artificial Intelligence, ha propuesto un enfoque estructurado para este problema. Su marco define siete niveles de capacidad de la IA médica basándose en tres propiedades: autonomía, automatización y alcance operativo.
La autonomía se refiere a qué tan independientemente razona un sistema sin intervención humana. La automatización describe qué tareas puede ejecutar el sistema por sí solo. El alcance operativo define los límites dentro de los cuales el sistema tiene permitido funcionar.
Una misma herramienta puede situarse en diferentes niveles dependiendo de dónde y cómo se despliegue. Un sistema de imágenes retinianas utilizado por un servicio especializado de oftalmología para verificar una decisión clínica conlleva un riesgo diferente al de la misma herramienta utilizada en una clínica de atención primaria para decidir de forma autónoma si se deriva a un paciente a un especialista. La tecnología es la misma. El contexto de responsabilidad, no.
El marco se basa en precedentes de otros ámbitos de alto riesgo. La regulación de la aviación y de los vehículos autónomos ya utiliza niveles graduales para especificar qué tareas debe realizar un sistema, con qué grado de independencia y en qué momento debe tomar el control un ser humano. Los investigadores sostienen que una estructura comparable para la IA médica proporcionaría a reguladores, tribunales, legisladores y organismos profesionales de la salud un vocabulario compartido para las herramientas que están por venir.
En el extremo inferior de la escala, el Nivel 0 abarca los sistemas informativos sin autonomía, como los algoritmos que gestionan los registros médicos electrónicos o transmiten datos desde dispositivos portátiles (wearables). Su comportamiento es transparente y sus resultados se pueden verificar de forma independiente. Los estándares de responsabilidad convencionales se aplican sin dificultad. El Nivel 1 abarca las herramientas de asistencia que realizan una única tarea definida bajo la supervisión de un médico, como señalar ritmos cardíacos sospechosos o destacar posibles nódulos pulmonares en un escáner. El Nivel 2 abarca los sistemas de apoyo a la toma de decisiones que sintetizan múltiples fuentes de datos, incluidos síntomas, historial médico, imágenes y guías clínicas, para generar diagnósticos, planes de tratamiento o puntuaciones de riesgo para el triaje. En ambos casos, el médico conserva la autoridad final.
Por qué este marco importa más allá de la medicina
El problema de fondo aquí no es exclusivo del sector de la salud. Se trata de lo que ocurre con las estructuras de responsabilidad cuando una decisión trascendental es tomada por un sistema cuyo razonamiento no puede ser auditado completamente por los humanos responsables del resultado.
La medicina hace que este problema sea especialmente visible porque lo que está en juego es inmediato y los marcos de responsabilidad existentes están bien desarrollados. Pero la misma tensión estructural aparece dondequiera que los sistemas autónomos de IA se incorporen al criterio profesional: en el análisis legal, en el asesoramiento financiero, en la gestión de infraestructuras. La pregunta de quién es responsable cuando un sistema opaco contribuye a causar un daño es algo a lo que tarde o temprano tendrá que responder cualquier sector que despliegue IA avanzada.
Lo que ofrece el marco propuesto es una forma de abordar esa pregunta de manera manejable. Al clasificar los sistemas de IA según lo que pueden hacer, con qué independencia lo hacen y en qué contexto, resulta posible asignar expectativas regulatorias y estándares de responsabilidad antes de que ocurra el daño, en lugar de después. Esa es la lógica detrás del enfoque de la aviación respecto a los niveles de automatización, y es la lógica que los investigadores están aplicando a la medicina.
La ausencia de tales marcos no hace que la IA sea más segura. Hace que las consecuencias de los fallos sean más difíciles de abordar y ofrece a las instituciones cautelosas una razón para evitar herramientas que podrían ayudar a los pacientes.
En resumen
La IA médica está pasando de ser un asistente pasivo a un tomador de decisiones activo, y los marcos legales diseñados para proteger a los pacientes no han ido a la par. Cuando un sistema de IA opaco contribuye a un resultado perjudicial, las normas de responsabilidad existentes pueden dejar a ninguna de las partes como responsable clara. Un marco propuesto de siete niveles, basado en la autonomía, la automatización y el alcance operativo, ofrece una forma de equiparar las expectativas regulatorias con las capacidades reales de la IA. El objetivo no es frenar la adopción, sino hacer que la responsabilidad sea lo suficientemente clara como para que la adopción pueda avanzar de manera segura.
Basado en información de Nature: Machine Learning.