Especialistas do Tow Center for Digital Journalism da Columbia University testaram o mecanismo de busca no popular chatbot baseado na inteligência artificial ChatGPT da OpenAI. Descobriu-se que o algoritmo não é muito bom em encontrar fontes de notícias e muitas vezes produz respostas imprecisas.
Fonte da imagem: Mariia Shalabaieva / unsplash.com
A OpenAI abriu o recurso de pesquisa do ChatGPT para os usuários em outubro deste ano, dizendo que era capaz de fornecer “respostas rápidas e relevantes com links para fontes relevantes da web”. No entanto, ao testar a ferramenta, constatou-se que ela tinha dificuldade em reconhecer citações de artigos, mesmo quando eram publicados por editores que permitiam que a OpenAI usasse seu conteúdo para treinar grandes modelos de linguagem (LLMs).
Os autores do estudo pediram ao ChatGPT que citasse as fontes de “duzentas citações de vinte fontes”. Quarenta dessas citações foram retiradas de editores que proibiram o robô de busca OpenAI de acessar seus sites. Porém, mesmo nestes casos, o chatbot respondeu com confiança, dando informações falsas e, em alguns casos, admitindo que não tinha certeza da veracidade das informações fornecidas.
«
Uma série de testes também revelou casos em que a ferramenta de busca ChatGPT produziu resultados em que citações de uma carta ao editor do Orlando Sentinel foram correlacionadas incorretamente com materiais da revista Time. Num outro exemplo, quando foi solicitado ao chatbot que fornecesse uma fonte para uma citação de um artigo do New York Times sobre baleias ameaçadas de extinção, ele retornou um link para um site que simplesmente copiou e publicou o artigo original.