Como todos sabemos, a corrida do ouro da IA está chegando. E em poucos campos isso acontece tão rápida e furiosamente como na medicina.
Isso aponta para um continuum importante: tenha cuidado.
A tecnologia de inteligência artificial ajudou os radiologistas a detectar anormalidades em imagens que não podem ser vistas pelo usuário. Tem a vantagem óbvia de dispensar os médicos de procedimentos nas costas que passam mais horas tratando de pacientes, como estabelecer apólices de seguro e agendar consultas.
Eventualmente, muitas dessas coisas serão boas, mas ainda não chegamos lá.
—Eric Topol, Pesquisa Scripps
Mas foi acusado de fornecer informações falsas aos cirurgiões durante operações que colocam seus pacientes em risco e causam confusão entre os usuários que consideram suas respostas como diagnósticos sérios.
Aplicativos de marketing direto ao consumidor desenvolvidos por empresas de IA, como ChatGPT Health da OpenAI e Claude for Healthcare da anthropic – ambos lançados em janeiro – estão levantando preocupações específicas entre os profissionais médicos. Isso ocorre porque eles são recomendados para usuários que podem não apreciar sua tendência de publicar erros de informações falsas e oferecer conselhos inadequados.
“Eventualmente, muitas dessas coisas serão boas, mas ainda não chegamos lá”, disse Eric Topol, cardiologista associado ao Scripps Research Institute em La Jolla.
“Estou preocupado que eles estejam divulgando isso sem um forte compromisso com a segurança, a qualidade e a consistência”, disse Topol. “Eles precisam de testes mais rigorosos. O problema que tenho é que esses esforços são impulsionados principalmente por interesses comerciais – há uma competição furiosa para ser o primeiro a lançar um aplicativo para pacientes, mesmo que ainda não esteja pronto.”
Essa é a experiência relatada por Geoffrey A. Fowler, repórter de tecnologia do Washington Post, que deu ao ChatGPT 10 anos de dados de saúde coletados por seu Apple Watch – e recebeu avisos sobre a saúde de seu coração tão fortes que o encaminhou ao cardiologista, que lhe disse que ele estava no auge da saúde.
Fowler também procurou Topol, que revisou os dados e considerou os avisos do Chatbot “infundados”. O chatbot da Anthropic também deu a Fowler uma pontuação de saúde que Topol considera suspeita. Pedi à OpenAI e à Anthropic comentários sobre esta e outras críticas a seus aplicativos clientes lançados prematuramente, mas nenhum deles respondeu.
Topol, que escreveu extensivamente sobre tecnologia médica avançada, não é o mesmo cético em relação à IA. Autodenominando-se um optimista da IA, ele cita numerosos estudos que mostram que a inteligência artificial pode ajudar os médicos a tratar os pacientes de forma mais eficaz e até mesmo a melhorar o seu comportamento à beira do leito.
Mas ele alertou que “a medicina não pode tolerar erros graves. Ela deve minimizar os erros, alucinações, confabulações, besteiras e bajulação” que a tecnologia de IA frequentemente exibe.
Na medicina, como em muitos outros campos, a IA parece ter sido exagerada como uma tecnologia que salva empregos. De acordo com um estudo sobre estetoscópios com IA fornecido a cerca de 100 grupos médicos britânicos, publicado no início deste mês na Lancet, uma revista médica britânica, os estetoscópios de alta tecnologia identificaram corretamente alguns (mas não todos) sinais de insuficiência cardíaca do que um estetoscópio padrão. Mas 40% dos grupos abandonaram os novos dispositivos durante os 12 meses do estudo.
A maior reclamação foi a “carga de trabalho extra” experimentada pelos usuários – um sinal de que, por melhores que fossem as novas tecnologias, elas não compensavam o tempo e o esforço necessários para usá-las.
Outros estudos descobriram que a IA pode aumentar as competências dos médicos – quando os médicos aprendem a confiar nas suas ferramentas de IA e quando estas são utilizadas em situações menos complexas, até mesmo gerais.
Os benefícios mais notáveis são observados na radiologia; de acordo com um estudo holandês publicado no ano passado, os radiologistas que usam IA para ajudar a interpretar as radiografias da mama tiveram um desempenho tão bom na detecção do câncer quanto dois radiologistas trabalhando juntos. Isto sugere que o uso racional da IA pode liberar tempo para um dos dois radiologistas. Mas neste caso como em outros, o assistente de IA nem sempre se saiu bem.
“A IA não detecta alguns tipos de câncer de mama que a avaliação humana não percebe”, diz um autor, “mas encontra cânceres de mama semelhantes que os radiologistas interpretativos não percebem”.
A penetração da IA nos cuidados de saúde tornou-se até uma pedra de toque cultural: na série de salas de emergência da HBO “The Pitt”, ocupados médicos do pronto-socorro descobrem que uma aplicação de IA os levou a usar uma ferramenta de gráficos que economizava tempo “desencadeou” o histórico de apendicite de um paciente, colocando em risco o tratamento do paciente.
“A IA generativa não é perfeita”, responderam os apoiadores do aplicativo. “Ainda precisamos verificar todas as tabelas que eles criam” – nisso concordamos, com razão, que a IA pode aumentar, e não reduzir, a carga de trabalho do usuário.
Um futuro em que robôs realizem cirurgias ou façam diagnósticos precisos continua sendo uma ficção científica. Na medicina, como em outros lugares, a tecnologia de IA é vista como útil para assumir tarefas automatizadas de humanos, mas não em situações que exijam inteligência ou criatividade humana – ou precisão. E as tentativas de utilizar algoritmos relacionados com a IA para tomar decisões sobre saúde foram contestadas em tribunal.
Numa ação coletiva movida no tribunal federal de Minnesota em 2023, cinco pacientes do Medicare e três outros sobreviventes alegam que o UnitedHealth Group, o maior fornecedor médico do país, confiou em algoritmos de IA para negar-lhes cuidados, “contra as decisões dos seus médicos assistentes para cuidados médicos necessários com base em modelos de IA” com taxas de erro. 90%
O caso ainda está pendente. Em sua defesa, a UnitedHealth argumentou que as decisões sobre aprovar ou negar a cobertura permanecem inteiramente nas mãos dos médicos e outros profissionais médicos empregados pela empresa, e que as suas decisões sobre cobertura e cuidados seguem os padrões do Medicare.
Os algoritmos de IA citados pelos demandantes, disse a UnitedHealth, não são usados “para negar cuidados aos membros ou tomar decisões desnecessárias de cobertura médica”, mas sim para ajudar médicos e pacientes a “antecipar e planejar futuras necessidades de cuidados”. A empresa não comentou as alegações do reclamante sobre a taxa de erro do algoritmo.
“Não deveríamos nos contentar em admitir erros” das ferramentas de IA, disse-me Topol. Mas é justo questionar se esta mensagem foi recebida pelos promotores de aplicações de IA para a saúde.
Os avisos de que os resultados da IA “não são testados profissionalmente ou substituem o aconselhamento médico” praticamente desapareceram das plataformas de IA, de acordo com um estudo realizado por pesquisadores de Stanford e da UC Berkeley.
O problema está a tornar-se mais urgente à medida que a linguagem dos chatbots se torna mais sofisticada, levando a uma confiança injustificada nas suas conclusões, alertam os investigadores. “Os usuários podem interpretar mal o conteúdo gerado pela IA como orientação especializada”, escreveram eles, “o que pode resultar em atraso no tratamento, autocuidado inadequado ou falsa confiança em informações não verificadas”.
Geralmente, a lei estadual exige que os diagnósticos médicos e as decisões médicas sejam feitos com base em um exame físico realizado por um médico licenciado e após uma investigação completa do histórico médico e familiar. Eles não precisam descartar a possibilidade de os médicos usarem IA para ajudá-los a desenvolver diagnósticos ou planos de tratamento, mas os médicos precisam estar no controle.
A Food and Drug Administration isenta os dispositivos médicos do licenciamento governamental se eles forem “geralmente destinados à educação do paciente e… não se destinarem ao uso no diagnóstico de doenças ou outras condições”.
Mas isso pode não ajudar os utilizadores que carregam voluntariamente o seu historial médico e resultados de testes para bots de IA, inconscientes das preocupações, incluindo a de que as suas informações serão mantidas privadas ou usadas contra eles em decisões de seguros. As lacunas nos dados que carregam afetam os conselhos que recebem dos bots. E como os bots não sabem nada além do conteúdo que recebem, os seus resultados de saúde podem refletir preconceitos culturais nos dados subjacentes, como diferenças étnicas na incidência e no tratamento de doenças.
“Se houver um erro em todos os seus dados, você poderá ter um grave ataque de pânico”, disse Topol. “Os pacientes devem verificar, e não apenas confiar”, no que ouviram do bot.
Topol alerta que o impacto negativo da informação sobre IA pode não ser apenas para os pacientes, mas para o campo da IA. “As pessoas realmente não diferenciam os bots”, ele me disse. “Tudo o que precisamos é de uma história de terror” de diagnósticos errados ou conselhos perigosos, “e essa área está atrasada”.
Na sua opinião, isto limitará a promessa da tecnologia que pode melhorar a eficácia do tratamento de várias maneiras. A solução é aplicar os mesmos padrões médicos aplicados à IA a “medicamentos, dispositivos, diagnósticos. Não podemos reduzir o limite porque é algo novo, ou outra coisa, com um apelo amplo”.
