Pesquisadores da empresa francesa de testes de IA Giskard descobriram que quanto mais curtas as respostas do ChatGPT e de outros assistentes de IA, maior a probabilidade de fornecer informações falsas. Consultas como “responda brevemente” ou “explique em duas frases” fazem com que os modelos mintam e sejam imprecisos.
Fonte da imagem: AI
Conforme escreve o TechCrunch, durante o estudo, os especialistas analisaram o comportamento de modelos de linguagem populares, incluindo o GPT-4o da OpenAI, o Mistral Large e o Claude 3.7 Sonnet da Anthropic, e descobriram que, quando solicitados a fornecer respostas curtas, especialmente em tópicos ambíguos ou controversos, os modelos têm maior probabilidade de fornecer informações errôneas. “Nossos dados mostram que mesmo mudanças simples nas instruções afetam significativamente a propensão dos modelos a ter alucinações”, disse Giskard.
As alucinações continuam sendo um dos maiores problemas não resolvidos no campo da IA generativa. Mesmo modelos avançados baseados em algoritmos probabilísticos podem inventar fatos inexistentes. Novos modelos focados no raciocínio, como o o3 da OpenAI, são ainda mais propensos a alucinações do que seus antecessores, o que não pode deixar de reduzir a confiança em suas respostas, dizem os autores do estudo.
Nota-se que uma das razões para a maior tendência a cometer erros é o espaço limitado para explicações. Quando uma modelo é solicitada a ser breve, ela não consegue cobrir completamente o tópico e refutar as premissas falsas do pedido. No entanto, esse ponto é muito importante para desenvolvedores de código, pois um prompt contendo uma instrução como “seja breve” pode prejudicar a qualidade da resposta.
Além disso, observou-se que os modelos eram menos propensos a refutar declarações controversas se fossem feitas com confiança. Também foi descoberto que as IAs que os usuários mais frequentemente classificam como convenientes ou agradáveis para se comunicar nem sempre apresentam um alto grau de precisão em suas respostas.