A IA médica do Google supera o GPT-4 e até mesmo os médicos vivos

O Google Research e o laboratório de pesquisa de inteligência artificial DeepMind do Google anunciaram detalhes da família Med-Gemini de modelos avançados de linguagem grande projetados para aplicações de saúde.

Fonte da imagem: geralt/Pixabay

Os modelos de IA ainda estão em fase de pesquisa, mas os autores afirmam que o Med-Gemini, baseado no modelo Google Gemini, supera modelos concorrentes, como o GPT-4 da OpenAI, tem um enorme potencial em diagnósticos clínicos e excede os padrões da indústria em 14 benchmarks de perfis populares. . Especificamente, no benchmark MedQA (USMLE), o modelo Med-Gemini alcançou uma precisão de 91,1% usando uma estratégia de pesquisa baseada na incerteza, superando o LLM médico Med-PaLM 2 do Google em 4,5%. O conjunto de modelos também superou os humanos no resumo de textos médicos e na formulação de recomendações, com os médicos classificando as respostas do Med-Gemini-M 1.0 como boas ou melhores do que as respostas dos especialistas na metade das vezes.

Med-Gemini é uma família de grandes modelos multimodais (LMMs), cada um com sua finalidade. Ao contrário dos grandes modelos de linguagem que “exibem raciocínio clínico abaixo do ideal sob incerteza” e sofrem de alucinações e preconceitos, o Med-Gemini produz “resultados de fato mais precisos, confiáveis ​​e detalhados para tarefas complexas de raciocínio clínico” do que seus concorrentes, incluindo o GPT-4, diz Google.

Em sete benchmarks multimodais, incluindo imagens do New England Journal of Medicine (NEJM), o modelo Med-Gemini teve um desempenho significativamente melhor que o GPT-4.

Para testar a capacidade do Med-Gemini de compreender e raciocinar a partir de informações médicas contextuais de formato longo, os pesquisadores realizaram com sucesso a chamada tarefa de “agulha em um palheiro” usando-a no grande Mercado de Informações Médicas para Cuidados Intensivos (MIMIC-III) disponível publicamente. banco de dados, contendo dados anonimizados sobre o estado de saúde dos pacientes internados na unidade de terapia intensiva.

O apoio da Med-Gemini à pesquisa eficiente do banco de dados do Registro Eletrônico de Saúde (EHR) “reduzirá significativamente a carga cognitiva e capacitará os médicos, extraindo e analisando com eficiência informações críticas de grandes volumes de dados de pacientes”, afirma o Google.

Segundo os pesquisadores, o Med-Gemini também tem bom desempenho em exames médicos, conhecimento médico, raciocínio clínico, genômica, imagens médicas, prontuários médicos e vídeos.

No entanto, o Google disse que seus modelos precisam de mais refinamento e especialização antes de poderem ser usados ​​na área da saúde.