Sistemas de inteligência artificial (IA) médicos podem facilmente fornecer conselhos prejudiciais se os sintomas forem descritos de forma inteligente.

Os modernos modelos de linguagem de grande escala (LLMs, na sigla em inglês) usados ​​na medicina são frequentemente promovidos como uma ferramenta para melhorar a segurança do paciente e a qualidade do atendimento. A IA auxilia os médicos no processamento de informações, agilizando seu trabalho. No entanto, um novo estudo revelou uma séria vulnerabilidade: os sistemas de IA médica são capazes de repetir e transmitir informações falsas se estas forem apresentadas de forma convincente.

Fonte da imagem: Geração de IA Grok 4

Em um experimento em larga escala, os pesquisadores testaram nove dos principais modelos de aprendizado de máquina (LLMs) usando mais de um milhão de consultas. Eles criaram três tipos de cenários: relatos de casos reais do banco de dados MIMIC com uma informação falsa adicionada, mitos populares sobre saúde de um fórum do Reddit e 300 cenários clínicos criados e revisados ​​por médicos. As informações falsas variavam em estilo — de neutras a carregadas de emoção, bem como aquelas que sugeriam certas conclusões (não necessariamente verdadeiras). Os resultados mostraram que os modelos frequentemente aceitavam afirmações médicas falsas, formuladas com confiança, como verdadeiras, priorizando estilo e contexto em detrimento da precisão médica.

O estudo constatou que os mecanismos de defesa dos LLMs existentes são insuficientemente confiáveis ​​para distinguir a verdade da ficção em documentação clínica ou em mídias sociais. Os modelos são propensos a reproduzir informações falsas se elas parecerem ser conselhos médicos padrão ou parte de uma discussão em mídias sociais. Os autores enfatizam que a suscetibilidade da IA ​​à desinformação deve ser considerada um parâmetro de segurança mensurável, e não um erro aleatório. Para esse fim, eles propõem usar o conjunto de dados que criaram como um “teste de estresse” para sistemas de IA médica. Esperamos que a proposta deles seja levada em consideração pelos desenvolvedores.