Os modernos modelos de linguagem de grande escala (LLMs, na sigla em inglês) usados na medicina são frequentemente promovidos como uma ferramenta para melhorar a segurança do paciente e a qualidade do atendimento. A IA auxilia os médicos no processamento de informações, agilizando seu trabalho. No entanto, um novo estudo revelou uma séria vulnerabilidade: os sistemas de IA médica são capazes de repetir e transmitir informações falsas se estas forem apresentadas de forma convincente.
Fonte da imagem: Geração de IA Grok 4
Em um experimento em larga escala, os pesquisadores testaram nove dos principais modelos de aprendizado de máquina (LLMs) usando mais de um milhão de consultas. Eles criaram três tipos de cenários: relatos de casos reais do banco de dados MIMIC com uma informação falsa adicionada, mitos populares sobre saúde de um fórum do Reddit e 300 cenários clínicos criados e revisados por médicos. As informações falsas variavam em estilo — de neutras a carregadas de emoção, bem como aquelas que sugeriam certas conclusões (não necessariamente verdadeiras). Os resultados mostraram que os modelos frequentemente aceitavam afirmações médicas falsas, formuladas com confiança, como verdadeiras, priorizando estilo e contexto em detrimento da precisão médica.
O estudo constatou que os mecanismos de defesa dos LLMs existentes são insuficientemente confiáveis para distinguir a verdade da ficção em documentação clínica ou em mídias sociais. Os modelos são propensos a reproduzir informações falsas se elas parecerem ser conselhos médicos padrão ou parte de uma discussão em mídias sociais. Os autores enfatizam que a suscetibilidade da IA à desinformação deve ser considerada um parâmetro de segurança mensurável, e não um erro aleatório. Para esse fim, eles propõem usar o conjunto de dados que criaram como um “teste de estresse” para sistemas de IA médica. Esperamos que a proposta deles seja levada em consideração pelos desenvolvedores.
Mais de dez anos após o lançamento da primeira versão do aplicativo Telegram para Apple…
O serviço de resposta neural Alice, do Yandex, direciona, com maior frequência, para sites que…
A startup americana de veículos elétricos Rivian seguiu os passos da Tesla, oferecendo inicialmente modelos…
A ideia mais viável para viajar a outras estrelas continua sendo uma vela solar que,…
O ambicioso RPG de ação Kingdom Hearts 4, da desenvolvedora e publicadora japonesa Square Enix,…
Em dezembro passado, as autoridades da UE iniciaram uma investigação antitruste contra a Meta✴Platforms, sob…