Uma premissa fundamental tem governado silenciosamente o uso de dados de pacientes em pesquisas de inteligência artificial há anos. A lógica funciona assim: se nomes e detalhes de identificação forem removidos dos registros médicos antes que esses registros sejam usados para treinar um modelo de IA, os indivíduos por trás dos dados estarão efetivamente protegidos. Um estudo publicado na Nature por pesquisadores como Haoran Zhang e Marzyeh Ghassemi, ambos do Departamento de Engenharia Elétrica e Ciência da Computação do MIT, desafia essa premissa diretamente. A análise deles sobre o trabalho de Knolle et al., também publicado na Nature, apresenta um argumento contundente: na era dos poderosos modelos de machine learning, a desidentificação não é a garantia de privacidade que se supunha ser.
O Acordo Implícito Que Pode Não Valer Mais
A relação entre pacientes e pesquisadores de IA sempre se baseou em uma troca. Os pacientes, e os sistemas de saúde que guardam seus registros, permitem que dados confidenciais sejam usados para fins de pesquisa. Em troca, espera-se que essa pesquisa produza ferramentas que melhorem o atendimento, seja por meio de diagnósticos mais precoces, melhores opções de tratamento ou fluxos de trabalho clínicos mais eficientes. A desidentificação está no centro desse arranjo. É o mecanismo que supostamente torna a troca eticamente aceitável.
O problema identificado por Knolle et al. não é que a desidentificação falhe em algum sentido técnico ou processual. O problema é mais fundamental. Uma vez que um modelo de machine learning é treinado com dados, o próprio modelo pode se tornar uma fonte de informação sobre os indivíduos cujos registros o moldaram. Alguém com acesso ao modelo treinado, mesmo sem acesso ao conjunto de dados original, pode ser capaz de inferir se os dados de uma pessoa específica foram usados no treinamento. Essa classe de vulnerabilidade é conhecida na literatura de pesquisa como ataque de inferência de pertinência (membership inference attack), e tem sido documentada em trabalhos anteriores citados no artigo da Nature, incluindo pesquisas apresentadas em grandes conferências de machine learning e segurança.
Por Que Modelos Poderosos Pioram o Problema
É aqui que a análise se torna particularmente importante para qualquer pessoa que esteja pensando sobre a trajetória da IA médica. A preocupação não se limita a sistemas pequenos ou mal projetados. O comentário da Nature é explícito: a suposição de que os dados de treinamento não podem ser reconstruídos a partir de um modelo é “muitas vezes falsa”, especificamente no contexto de modelos poderosos de machine learning. Quanto mais capaz for o modelo, mais ele tende a memorizar detalhes de seus dados de treinamento e mais suscetível ele se torna a esse tipo de vazamento de privacidade.
Isso cria uma tensão que está no coração do desenvolvimento moderno de IA. As mesmas propriedades que tornam um modelo clinicamente útil — sua capacidade de aprender padrões refinados a partir de conjuntos de dados grandes e complexos — são as propriedades que aumentam o risco à privacidade. Otimizar para desempenho e otimizar para proteção de privacidade podem seguir em direções opostas.
A comunidade de pesquisa propôs contramedidas técnicas. Uma abordagem, a privacidade diferencial (differential privacy), envolve a adição de ruído cuidadosamente calibrado ao processo de treinamento para limitar o quanto qualquer ponto de dado individual pode influenciar o modelo final. O trabalho sobre essa abordagem foi publicado já em 2016 e é citado no artigo da Nature. Mas a privacidade diferencial envolve compensações: quanto mais forte a garantia de privacidade, mais o desempenho do modelo tende a degradar. Essa compensação não é meramente um inconveniente técnico. Em um contexto médico, onde a precisão do modelo pode afetar os resultados diagnósticos, ela traz consequências reais.
Exposição Desigual: Quem Arca com o Risco
Eis o que a maior parte da cobertura sobre este tópico deixa escapar. O título do artigo relacionado citado no comentário da Nature é revelador: “Riscos de privacidade desiguais da IA médica” (Disparate privacy risks from medical IA). O risco não está distribuído uniformemente entre as populações de pacientes. Pesquisas citadas no artigo, incluindo trabalhos publicados no The Lancet Digital Health, mostraram que sistemas de IA treinados com dados médicos podem codificar e refletir disparidades demográficas. A dimensão da privacidade adiciona outra camada a essa preocupação.
Se determinados grupos de pacientes, definidos por características demográficas, condições de saúde ou o volume de dados que contribuem para os conjuntos de treinamento, enfrentam maior exposição à inferência de pertinência ou à reconstrução de dados, então o acordo implícito descrito acima não está apenas quebrado em geral. Ele está quebrado de forma mais severa para algumas pessoas do que para outras. Pacientes que talvez já enfrentem desigualdades na forma como os sistemas de IA os tratam clinicamente também podem enfrentar maiores vulnerabilidades de privacidade provenientes desses mesmos sistemas.
Esta é uma questão estrutural, não um acidente de implementação. Ela aponta para a necessidade de que a análise de privacidade seja desaggregada, o que significa que pesquisadores e desenvolvedores devem examinar não apenas se um modelo vaza informações em média, mas quais indivíduos ou grupos estão mais expostos.
Em Resumo
A desidentificação de registros médicos não garante que os indivíduos estejam protegidos assim que seus dados forem usados para treinar um modelo de IA. Pesquisas publicadas na Nature por pesquisadores afiliados ao MIT, com base nas descobertas de Knolle et al., demonstram que modelos poderosos de machine learning podem ser consultados de maneiras que revelam informações sobre as pessoas cujos dados os moldaram. Os riscos de privacidade não são uniformes: alguns pacientes podem estar significativamente mais expostos do que outros. O acordo implícito que disponibilizou os dados de pacientes para pesquisas de IA, a promessa de que a desidentificação é proteção suficiente, precisa ser reavaliado. Soluções técnicas existem, mas elas envolvem compensações que o campo ainda não resolveu.
Com base em reportagem de Nature: Machine Learning.