Estudo diz que robôs de IA mentem mais quando solicitados a dar respostas concisas

Pesquisadores da empresa francesa de testes de IA Giskard descobriram que quanto mais curtas as respostas do ChatGPT e de outros assistentes de IA, maior a probabilidade de fornecer informações falsas. Consultas como “responda brevemente” ou “explique em duas frases” fazem com que os modelos mintam e sejam imprecisos.

Fonte da imagem: AI

Conforme escreve o TechCrunch, durante o estudo, os especialistas analisaram o comportamento de modelos de linguagem populares, incluindo o GPT-4o da OpenAI, o Mistral Large e o Claude 3.7 Sonnet da Anthropic, e descobriram que, quando solicitados a fornecer respostas curtas, especialmente em tópicos ambíguos ou controversos, os modelos têm maior probabilidade de fornecer informações errôneas. “Nossos dados mostram que mesmo mudanças simples nas instruções afetam significativamente a propensão dos modelos a ter alucinações”, disse Giskard.

As alucinações continuam sendo um dos maiores problemas não resolvidos no campo da IA ​​generativa. Mesmo modelos avançados baseados em algoritmos probabilísticos podem inventar fatos inexistentes. Novos modelos focados no raciocínio, como o o3 da OpenAI, são ainda mais propensos a alucinações do que seus antecessores, o que não pode deixar de reduzir a confiança em suas respostas, dizem os autores do estudo.

Nota-se que uma das razões para a maior tendência a cometer erros é o espaço limitado para explicações. Quando uma modelo é solicitada a ser breve, ela não consegue cobrir completamente o tópico e refutar as premissas falsas do pedido. No entanto, esse ponto é muito importante para desenvolvedores de código, pois um prompt contendo uma instrução como “seja breve” pode prejudicar a qualidade da resposta.

Além disso, observou-se que os modelos eram menos propensos a refutar declarações controversas se fossem feitas com confiança. Também foi descoberto que as IAs que os usuários mais frequentemente classificam como convenientes ou agradáveis ​​para se comunicar nem sempre apresentam um alto grau de precisão em suas respostas.