A Apple divulgou os resultados de um estudo sobre os mais recentes modelos de raciocínio de grande porte (LRMs) de IA. O relatório mostra que, embora os LRMs superem os LLMs (modelos de grande porte de linguagem) padrão na resolução de consultas moderadamente complexas, eles não fornecem os resultados desejados quando a tarefa se torna mais complexa. Os pesquisadores acreditam que a popularidade atual dos LRMs é apenas uma moda passageira, e seus resultados são uma “ilusão de pensamento” incompatível com os processos de pensamento humano.
Fonte da imagem: unsplash.com
Os pesquisadores se concentraram nos modelos Claude 3.7 Sonnet Thinking da Anthropic, o3 da OpenAI, Gemini do Google e R1 LRM da DeepSeek, avaliando suas habilidades de raciocínio em uma ampla gama de testes, além de tarefas padrão de matemática e programação. Os modelos também foram solicitados a projetar ambientes de quebra-cabeça controlados, incluindo a Torre de Hanói.
O principal objetivo do estudo era estabelecer e avaliar as capacidades de raciocínio dos modelos, e não sua capacidade de alcançar um resultado ou resposta desejados. De acordo com as conclusões dos cientistas, “embora esses modelos demonstrem desempenho aprimorado em testes de raciocínio, suas capacidades fundamentais, propriedades de escala e limitações permanecem pouco compreendidas”.
O LLM e o LRM padrão tiveram desempenho semelhante em consultas simples. O LRM demonstrou alguma vantagem em tarefas mais complexas devido aos seus mecanismos de raciocínio estruturados (“linhas de pensamento”). Mas nem o LRM nem o LLM tiveram bom desempenho em consultas de complexidade máxima.
Apesar de demonstrarem algoritmos corretos, os LRMs tiveram dificuldades para processar problemas complexos em um processo tradicional de raciocínio passo a passo, demonstrando deficiências e inconsistências em cálculos lógicos. Os modelos de raciocínio levaram mais tempo para processar consultas complexas, mas, inesperadamente, encurtaram o processo de raciocínio, resultando em falha, apesar de “terem um orçamento de tokens adequado”.
Vale ressaltar que a pesquisa da Apple foi publicada em um contexto de atraso catastrófico da empresa em relação aos líderes do superaquecido mercado de inteligência artificial. Segundo analistas, esse atraso é de até dois anos. Se a bolha da inteligência artificial estourar em um futuro próximo, a Apple pode até sair vitoriosa.
No ano passado, muitos especialistas expressaram preocupações de que o desenvolvimento de modelos avançados de IA estagnaria devido à falta de conteúdo de alta qualidade para treinamento adicional de redes neurais. No entanto, o CEO da OpenAI, Sam Altman, não viu “nenhum obstáculo”, e o ex-CEO do Google, Eric Schmidt, considerou essas preocupações infundadas.