Os pesquisadores da Apple descobriram que grandes modelos de linguagem, como o ChatGPT, são incapazes de pensamento lógico e são facilmente confundidos ao adicionar detalhes irrelevantes à tarefa em questão, relata o TechCrunch.
Fonte da imagem: Dkoi/Unsplash
O artigo publicado, “Compreendendo os limites do raciocínio matemático em grandes modelos de linguagem”, levanta questões sobre a capacidade da inteligência artificial de raciocinar logicamente. O estudo descobriu que grandes modelos de linguagem (LLMs) podem resolver problemas matemáticos simples, mas adicionar informações irrelevantes leva a erros.
Por exemplo, o modelo pode muito bem resolver o seguinte problema: “Oliver colheu 44 kiwis na sexta-feira. Ele então colheu 58 kiwis no sábado. No domingo ele coletou o dobro de kiwis que na sexta-feira. Quantos kiwis Oliver tem? No entanto, se você adicionar a frase “No domingo, 5 desses kiwis eram ligeiramente menores que a média”, o modelo provavelmente subtrairá esses 5 kiwis do total, apesar do fato de que o tamanho dos kiwis não afeta seu número.
Fonte da imagem: Copiloto
Mehrdad Farajtabar, um dos coautores do estudo, explica que tais erros indicam que os LLMs não entendem a essência da tarefa e estão simplesmente reproduzindo padrões dos dados de treinamento. “Nossa hipótese é que esse declínio [na eficiência] se deve ao fato de que os LLMs modernos são incapazes de um raciocínio lógico verdadeiro; em vez disso, eles tentam reproduzir as etapas de raciocínio observadas em seus dados de treinamento”, afirma o artigo.
Outro especialista da OpenAI argumentou que resultados corretos podem ser obtidos usando engenharia imediata. No entanto, Farajtabar observou que tarefas complexas podem exigir dados exponencialmente mais contextuais para neutralizar distrações que uma criança, por exemplo, ignoraria facilmente.
Isso significa que os LLMs não conseguem raciocinar? Talvez. Ninguém ainda deu uma resposta exata, pois não há uma compreensão clara do que está acontecendo. Os LLMs podem ser “raciocínios”, mas de uma forma que ainda não reconhecemos ou não podemos controlar. De qualquer forma, este tópico abre perspectivas interessantes para futuras pesquisas.