Oito mecanismos de busca movidos por modelos de IA generativa mostraram problemas significativos com fontes de notícias, de acordo com um estudo conduzido por especialistas do Centro de Jornalismo Digital da Columbia Journalism Review.
Fonte da imagem: Christopher Burns / Unsplash.com
Os mecanismos de busca com tecnologia de IA fornecem respostas incorretas a consultas sobre fontes de notícias mais de 60% das vezes. Cerca de um em cada quatro americanos agora usa IA como alternativa aos mecanismos de busca tradicionais, dizem os autores do estudo, e as taxas de erro significativas levantam sérias preocupações sobre a confiabilidade da IA. Diferentes plataformas apresentaram diferentes taxas de erro: o Perplexity retornou informações incorretas 37% das vezes, enquanto o ChatGPT Search identificou incorretamente 67% das fontes solicitadas. O chatbot Grok 3 demonstrou a maior taxa de erro: 94%.
Nos testes, os pesquisadores alimentaram os serviços de IA com trechos de artigos de notícias reais e pediram que cada modelo identificasse o título da história, a fonte do artigo, o editor original, a data de publicação e seu URL. Todos os modelos tinham uma coisa em comum: sem informações confiáveis, eles não se recusavam a responder, mas davam respostas que pareciam plausíveis, mas não correspondiam à realidade. Notavelmente, os modelos pagos se saíram ainda pior em alguns aspectos: o Perplexity Pro (US$ 20 por mês) e o premium Grok 3 (US$ 40 por mês) deram respostas incorretas com mais frequência do que seus equivalentes gratuitos. Eles responderam mais perguntas corretamente, mas não se recusaram a trabalhar na ausência de informações confiáveis, então o número total de erros foi maior.
Fonte da imagem: cjr.org
Os pesquisadores também confirmaram que algumas plataformas de IA ignoram diretivas que proíbem rastreadores da web de acessar recursos. Assim, o serviço gratuito Perplexity identificou corretamente todos os dez fragmentos de materiais pagos da National Geographic, embora a publicação tenha estabelecido uma proibição explícita para que este serviço visite seu site. Ao citar fontes, os mecanismos de busca de IA geralmente recorrem a agregadores como o Yahoo News em vez de sites de notícias originais. Isso aconteceu mesmo quando os editores e desenvolvedores desses sistemas de IA tinham acordos formais de licenciamento. Mais da metade dos links nos chats do Google Gemini e do Grok 3 levavam a URLs fictícios ou quebrados — 154 de 200 no caso do Grok.
Essas questões colocam os editores diante de escolhas difíceis. Bloquear rastreadores da web só piorará os problemas dos mecanismos de busca de IA; Se você abrir completamente seus recursos para eles, os usuários deixarão de visitá-los, contentando-se com as respostas dos bots de bate-papo. O diretor de operações da revista Time, Mark Howard, expressou esperança de que os desenvolvedores de serviços de IA melhorem a qualidade de seus serviços no futuro com investimentos significativos. Ele pediu aos usuários do chatbot que não depositassem confiança excessiva nas respostas da IA.
A OpenAI e a Microsoft confirmaram que seus sistemas podem produzir tais resultados. A OpenAI prometeu dar suporte aos editores, direcionando visitantes aos seus sites, oferecendo aos usuários resumos de materiais, citações e links corretos; A Microsoft garantiu que seus rastreadores da web seguem as diretrizes fornecidas pelos editores.