A inteligência artificial está avançando para hospitais e clínicas a um ritmo que os quadros jurídicos e regulatórios não acompanharam. As ferramentas que chegam agora fazem mais do que exibir dados ou sinalizar anomalias para revisão médica. Espera-se que a próxima geração faça diagnósticos, elabore planos de tratamento e gerencie pacientes com pouca ou nenhuma intervenção humana. Essa mudança cria um problema que a medicina nunca enfrentou antes: quando um sistema de IA causa danos, as regras existentes para atribuir responsabilidade podem não se aplicar a ninguém.
A Lacuna de Responsabilização Que a IA Avançada Abre
A área da saúde tem operado tradicionalmente com linhas claras de responsabilidade. Os médicos são submetidos a um padrão de atendimento. Os hospitais devem organizar processos seguros. Os fabricantes de dispositivos devem entregar produtos que funcionem conforme o pretendido. Reguladores e órgãos de licenciamento podem intervir quando qualquer uma dessas partes falha. Os tribunais podem determinar a responsabilidade legal quando os pacientes são prejudicados.
As ferramentas de IA complicam cada uma dessas linhas simultaneamente.
Os sistemas atuais ainda operam em grande parte como assistentes. Um modelo de risco de sepse, por exemplo, combina variáveis fisiológicas definidas por meio de uma fórmula transparente e produz um alerta que um médico deve revisar antes que qualquer tratamento seja seguido. O raciocínio é visível. O ser humano permanece no circuito. A responsabilidade, se algo der errado, ainda pode ser rastreada por canais conhecidos.
As ferramentas em desenvolvimento agora funcionam de maneira diferente. Sistemas avançados de deep-learning podem chegar a um diagnóstico detectando padrões em milhares de variáveis, por meio de processos que nem mesmo os médicos que os utilizam conseguem rastrear. Estes são o que os pesquisadores chamam de sistemas de “caixa-preta”: o resultado pode estar correto, mas o caminho até ele é opaco. Quando uma decisão tomada conjuntamente por um médico e um modelo opaco de IA resulta em danos ao paciente, os quadros existentes de responsabilidade médica não definem quem assume a responsabilidade. Pesquisadores que escrevem sobre este tema identificaram o resultado como uma lacuna de responsabilidade: uma situação em que alguém é prejudicado, mas nenhuma das partes violou claramente uma regra identificável.
As consequências dessa lacuna já são visíveis no comportamento. Os médicos citam a incerteza jurídica como uma barreira recorrente à adoção de ferramentas de IA, mesmo aquelas que poderiam beneficiar os pacientes. Os hospitais podem evitar a implementação da IA em funções onde ela poderia genuinamente ajudar, precisamente porque o risco jurídico não está definido. E os fornecedores de sistemas de IA têm menos incentivo para monitorar a segurança após um produto chegar ao mercado se puderem razoavelmente esperar que a culpa seja difícil de atribuir.
Um Quadro de Sete Níveis para Classificar a Capacidade da IA
Um grupo de pesquisadores, incluindo Kyle Lam da Imperial College London, Mindy Nunez Duffourc da Maastricht University, Jiankai Sun da Stanford University, Eric Topol do Scripps Research Translational Institute e Jianing Qiu da Mohamed bin Zayed University of Artificial Intelligence, propôs uma abordagem estruturada para este problema. O seu quadro define sete níveis de capacidade de IA médica com base em três propriedades: autonomia, automação e escopo operacional.
Autonomia refere-se a quão independentemente um sistema raciocina sem intervenção humana. Automação descreve quais tarefas o sistema pode executar por si próprio. Escopo operacional define os limites dentro dos quais o sistema tem permissão para funcionar.
A mesma ferramenta pode situar-se em níveis diferentes dependendo de onde e como é implementada. Um sistema de imagem de retina utilizado por um serviço especializado de oftalmologia para verificar uma decisão clínica envolve um risco diferente do que a ferramenta idêntica utilizada em uma clínica de atenção primária para decidir autonomamente se deve encaminhar um paciente para um especialista. A tecnologia é a mesma. O contexto de responsabilização não é.
O quadro baseia-se em precedentes de outros domínios de alto risco. A aviação e a regulação de veículos autônomos já utilizam níveis graduados para especificar quais tarefas um sistema deve realizar, quão independentemente, e em que momento um ser humano deve assumir o controle. Os pesquisadores defendem que uma estrutura comparável para a IA médica daria a reguladores, tribunais, formuladores de políticas e órgãos profissionais de saúde um vocabulário compartilhado para as ferramentas que estão por vir.
No extremo inferior da escala, o Level 0 abrange sistemas informacionais sem autonomia, como algoritmos que gerenciam prontuários eletrônicos ou transmitem dados de dispositivos vestíveis. Seu comportamento é transparente e seus resultados são verificáveis de forma independente. Os padrões convencionais de responsabilidade aplicam-se sem dificuldade. O Level 1 abrange ferramentas assistivas que realizam uma única tarefa definida sob a supervisão do médico, como sinalizar ritmos cardíacos suspeitos ou destacar potenciais nódulos pulmonares em um exame. O Level 2 abrange sistemas de apoio à decisão que sintetizam múltiplos fluxos de dados, incluindo sintomas, histórico médico, exames de imagem e diretrizes clínicas, para produzir diagnósticos, planos de tratamento ou pontuações de risco de triagem. Em ambos os casos, o médico mantém a autoridade final.
Por Que Este Quadro Importa Para Além da Medicina
A questão mais profunda aqui não é específica da área da saúde. Trata-se do que acontece às estruturas de responsabilização quando uma decisão importante é tomada por um sistema cujo raciocínio não pode ser totalmente auditado pelos humanos responsáveis pelo resultado.
A medicina torna este problema incomum e visível porque os riscos são imediatos e os quadros de responsabilidade existentes estão bem desenvolvidos. Mas a mesma tensão estrutural surge onde quer que sistemas autônomos de IA estejam inseridos no julgamento profissional: na análise jurídica, no aconselhamento financeiro, na gestão de infraestruturas. A questão de quem é responsável quando um sistema opaco contribui para um dano é algo que todos os setores que implementam IA avançada terão, eventualmente, de responder.
O que o quadro proposto oferece é uma forma de tornar essa questão tratável. Ao classificar os sistemas de IA de acordo com o que podem fazer, quão independentemente o fazem e em que contexto, torna-se possível atribuir expectativas regulatórias e padrões de responsabilidade antes que os danos ocorram, em vez de depois. Essa é a lógica por trás da abordagem da aviação aos níveis de automação, e é a lógica que os pesquisadores estão aplicando à medicina.
A ausência de tais quadros não torna a IA mais segura. Torna as consequências de falhas mais difíceis de resolver e dá às instituições cautelosas uma razão para evitar ferramentas que poderiam ajudar pacientes.
Em Resumo
A IA médica está avançando de assistente passiva para tomadora ativa de decisões, e os quadros jurídicos concebidos para proteger os pacientes não acompanharam esse ritmo. Quando um sistema de IA opaco contribui para um resultado prejudicial, as regras de responsabilidade existentes podem deixar nenhuma das partes claramente responsável. Um quadro proposto de sete níveis, baseado em autonomia, automação e escopo operacional, oferece uma forma de alinhar as expectativas regulatórias com as capacidades reais da IA. O objetivo não é desacelerar a adoção, mas tornar a responsabilização suficientemente clara para que a adoção possa prosseguir com segurança.
Com base em reportagem de Nature: Machine Learning.