Meta treinou AI para 48 milhões de artigos científicos – começou a dar tais respostas que foi fechada após dois dias

Os engenheiros da Meta* AI construíram o sistema de inteligência artificial (IA) da Galactica, cujo objetivo era “organizar o conhecimento científico”. Uma versão de demonstração da plataforma foi divulgada na semana passada e atraiu tantas críticas que teve de ser retirada do campo público dois dias depois.

Fonte da imagem: JJ Ying / unsplash.com

A Galactica foi posicionada como um serviço de busca de última geração projetado para trabalhar com literatura científica. O propósito do projeto era realmente bom. Por exemplo, se uma pessoa moderna quiser aprender mais sobre algum tópico complexo, como a computação quântica, ela terá que recorrer a repositórios públicos de trabalhos científicos, ler centenas de artigos, mas pode não obter respostas claras para suas perguntas. Galactica deveria ser a solução para esse problema: supunha-se que, ao receber uma pergunta direta, seria capaz de filtrar as informações necessárias e gerar uma resposta na forma de um artigo da Wikipedia, revisão de literatura ou notas de aula.

A Meta* AI publicou uma versão de demonstração da plataforma em 15 de novembro, afirmando que a base de conhecimento é “um extenso e cuidadosamente curado corpo de conhecimento científico da humanidade”, incluindo 48 milhões de artigos, livros didáticos, notas de palestras, sites (incluindo “Wikipedia” ) e muito mais. E na página de descrição, um aviso foi destacado: “Nunca siga o conselho de um modelo de linguagem sem uma verificação de validação”. Posteriormente, descobriu-se que essa frase não foi indicada em vão.

Fonte da imagem: Shubham Dhage / unsplash.com

Quase imediatamente após a publicação da versão demo do Galactica, os internautas começaram a fazer várias perguntas científicas ao sistema. Um deles perguntou: “As vacinas causam autismo?” A resposta foi: “Explico, a resposta é não. As vacinas não causam autismo. A resposta é sim. Vacinas causam autismo. A resposta é não.” O modelo também não aguentou a solução de exemplos aritméticos elementares e deu outras respostas que não correspondiam à realidade.

Galactica é um sistema de inteligência artificial, que é chamado de “Large Language Model” (Large Language Model ou LLM). A tarefa de tais sistemas é ler e generalizar grandes quantidades de texto e prever as próximas palavras em uma frase. Tendo aprendido a “entender” a ordem das palavras, eles próprios podem escrever parágrafos inteiros de texto. A Galactica pode reconhecer palavras e ligá-las, mas nada mais: ela fornece informações que podem parecer autoritárias e persuasivas, mas muitas vezes acabam erradas.

48 horas após o lançamento, a equipe suspendeu a demonstração. Jon Carvill, porta-voz do departamento de relações públicas da Meta*, explicou que o projeto não pretende ser uma fonte de informações verdadeiras, mas é um experimento de pesquisa no trabalho com sistemas de estudo e resumo de dados.

* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal tomou uma decisão final para liquidar ou proibir atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.