A Microsoft Research e a Salesforce analisaram mais de 200.000 conversas com modelos avançados de IA, incluindo GPT-4.1, Gemini 2.5 Pro, Claude 3.7 Sonnet, OpenAI o3, DeepSeek R1 e Llama 4. Os resultados mostraram que esses modelos frequentemente “se perdem na conversa” quando são divididos em diálogos naturais, com várias etapas e trocas de informações. Para o interlocutor do chatbot, isso se manifesta como um “embrutecimento” gradual do modelo, acompanhado de alucinações e respostas totalmente incorretas.
Fonte da imagem: unsplash.com
Cientistas afirmam que modelos de IA como o GPT-4.1 e o Gemini 2.5 Pro atingem 90% de precisão nas respostas ao processar perguntas individuais. No entanto, seu desempenho cai para aproximadamente 65% durante conversas mais longas com múltiplas trocas de informações. Além disso, os modelos tendem a usar sua resposta inicial como base para responder a perguntas subsequentes, mesmo que esteja incorreta.
Os pesquisadores descobriram outro fenômeno curioso: a inflação de respostas. As respostas e reações dos modelos tornaram-se de 20% a 300% mais longas ao participar de conversas com múltiplas interações. Respostas mais longas às perguntas levaram a mais suposições e ilusões, que os modelos então usaram como contexto contínuo na conversa.
Embora modelos como o o3 da OpenAI e o DeepSeek R1 possuam “tokens de pensamento” adicionais, eles não conseguiram escapar dessa situação peculiar. Os pesquisadores observaram que a confiabilidade do modelo de lógica latente (LLM) caiu 112%. Isso se explica pela tendência dos modelos de gerar respostas prematuramente — eles tentam sugerir respostas para perguntas sem compreendê-las completamente.
Está ficando claro que a IA ainda não atingiu seu potencial máximo, enfrentando problemas críticos como a baixa confiabilidade em diálogos complexos. No entanto, a percepção dos usuários em relação aos serviços de IA está mudando rapidamente, especialmente com o surgimento de ferramentas como o Google AI Reviews. Vale ressaltar que abandonar os mecanismos de busca tradicionais em favor de ferramentas baseadas em IA acarreta um risco significativo, já que as informações geradas podem ser pouco confiáveis.
Há algum tempo, a Microsoft acusou os usuários deO mau uso da IA, alegando um baixo nível de habilidade em engenharia no desenvolvimento das instruções, é enfatizado. Talvez sejam justamente as perguntas estúpidas e as instruções ruins dos “skinbags” que impedem os modelos de IA de terem o melhor desempenho?