A inteligência artificial foi ensinada para expor cientistas charlatões

A investigação científica poderá em breve sofrer mudanças radicais – a inteligência artificial provou ser uma ferramenta humana insuperável para analisar volumes inimagináveis ​​de literatura especializada. No experimento, a IA foi capaz de avaliar descobertas científicas falsas e reais com mais precisão do que especialistas humanos. Isto tornará a investigação científica mais fácil para os seres humanos, permitindo que as máquinas analisem toneladas de informação bruta em busca de direções promissoras.

Fonte da imagem: geração AI Kandinsky 3.1/avalanche noticias

Desde o início, os desenvolvedores de IA generativa (ChatGPT e outros) concentraram-se na capacidade dos grandes modelos de linguagem (LLMs) de responder a perguntas resumindo os vastos dados nos quais foram treinados. Cientistas da University College London (UCL) estabeleceram um objetivo diferente. Eles se perguntaram se os LLMs poderiam sintetizar conhecimento – extrair padrões da literatura científica e usá-los para analisar novos artigos científicos? A experiência tem mostrado que a IA tem sido capaz de superar os humanos na classificação precisa de artigos revisados ​​por pares.

«O progresso científico depende frequentemente de tentativa e erro, mas qualquer experiência cuidadosa requer tempo e recursos. Mesmo os pesquisadores mais experientes podem perder descobertas importantes da literatura. Nosso trabalho explora se os LLMs podem identificar padrões em grandes textos científicos e prever os resultados de experimentos”, explicam os autores do trabalho. Não é difícil imaginar que trazer a IA para a revisão por pares irá muito além da simples descoberta de conhecimento. Isto poderia revelar-se um avanço em todas as áreas da ciência, poupando tempo e dinheiro aos cientistas.

O experimento foi baseado na análise de um pacote de artigos científicos sobre neurobiologia, mas pode ser estendido a qualquer área da ciência. Os pesquisadores prepararam muitos pares de resumos, consistindo em um artigo científico real e um falso – contendo resultados e conclusões plausíveis, mas incorretos. Os pares de documentos foram revisados ​​por 15 LLMs gerais e 117 especialistas em neurociência humana especificamente selecionados. Todos eles tiveram que separar as obras reais das falsas.

Todos os LLMs superaram os neurocientistas, com precisão de IA em média de 81% e precisão humana em média de 63%. Quando os melhores especialistas humanos analisaram o trabalho, a precisão aumentou para 66%, mas não chegou nem perto da precisão da IA. E quando o LLM foi treinado especificamente em dados de neurociências, a precisão das previsões aumentou para 86%. Os pesquisadores dizem que a descoberta abre caminho para um futuro em que especialistas humanos possam colaborar com modelos bem calibrados.

O trabalho realizado também mostra que a maioria das novas descobertas não são nada novas. A IA revela perfeitamente esta característica da ciência moderna. Graças à nova ferramenta, os cientistas saberão pelo menos se vale a pena seguir a área de pesquisa escolhida ou se é mais fácil pesquisar seus resultados na Internet.