ChatGPT e outros bots de IA são péssimos em contar notícias, segundo estudo da BBC

Os quatro chatbots de inteligência artificial mais populares do mundo cometem muitos erros ao relatar notícias, segundo um estudo da BBC. Imprecisões foram observadas em mais da metade dos casos.

Fonte da imagem: Growtika/unsplash.com

Jornalistas da BBC conduziram um experimento: eles pediram aos chatbots OpenAI ChatGPT, Microsoft Copilot, Google Gemini e Perplexity para compilar resumos de centenas de notícias da agência e, então, avaliaram as respostas dos sistemas para determinar o quão precisas elas eram. De acordo com o estudo, “51% de todas as respostas de IA a perguntas relacionadas a notícias foram classificadas como tendo problemas significativos de alguma forma”. Além disso, “19% das respostas da IA ​​com links para conteúdo da BBC continham erros factuais, como declarações factuais, números e datas incorretos”.

O chatbot Gemini do Google, em particular, deturpou radicalmente o Serviço Nacional de Saúde do Reino Unido, enquanto o ChatGPT e o Copilot continuaram a tratar políticos aposentados como se estivessem em serviço. O mau tratamento de informações pela IA é sistêmico, apontam jornalistas britânicos: ela “tinha dificuldade em distinguir entre opiniões e fatos, reclamava e frequentemente perdia contexto importante”. Anteriormente, soube-se que no iOS 18.3, a função de preparar resumos de materiais de notícias, que faz parte do pacote Apple Intelligence, foi temporariamente desativada. Nem todos os sistemas de IA tiveram o mesmo desempenho no estudo: “O Microsoft Copilot e o Google Gemini têm problemas mais significativos do que o OpenAI ChatGPT e o Perplexity”, concluiu a BBC.

O experimento mostrou mais uma vez que as informações dos chatbots de IA devem ser encaradas com cautela. A IA está avançando rapidamente, com grandes modelos de linguagem sendo lançados quase toda semana, e erros são inevitáveis ​​com tamanho volume de dados. Por outro lado, “alucinações”, isto é, respostas obviamente incorretas, são agora menos comuns em sistemas avançados do que antes. A IA está progredindo mais rápido do que a Lei de Moore sugere, escreveu recentemente o CEO da OpenAI, Sam Altman, em seu blog pessoal. Mas no momento ainda é confiar demais em chatbots, especialmente quando se trata de materiais de notícias.