Grandes modelos de linguagem de IA não conseguem contar as letras da palavra “morango” em inglês

Apesar das capacidades impressionantes de grandes modelos de linguagem (LLMs), como GPT-4o e Claude, de escrever ensaios e resolver equações em segundos, eles ainda são imperfeitos. O exemplo mais recente, que se tornou um meme viral, demonstra que essas IAs aparentemente oniscientes não conseguem contar corretamente o número de r na palavra inglesa “morango”.

Fonte da imagem: Olga Kovalski/Unsplash

O problema está na arquitetura LLM, que é baseada em transformadores. Eles dividem o texto em tokens, que podem ser palavras completas, sílabas ou letras, dependendo do modelo. “Os LLMs são baseados na arquitetura dos Transformers, que essencialmente não lê texto. Quando você insere uma consulta, ela é convertida em uma codificação”, explica Matthew Guzdial, pesquisador de inteligência artificial e professor associado da Universidade de Alberta, em entrevista ao TechCrunch. Ou seja, quando o modelo vê o artigo “o”, ele possui apenas uma codificação do significado de “o”, mas não sabe nada sobre cada uma das três letras individualmente.

Os transformadores não podem processar e gerar texto real com eficácia. Em vez disso, o texto é convertido em representações numéricas, que são então contextualizadas para ajudar a IA a criar uma resposta lógica. Em outras palavras, a IA pode saber que os tokens “palha” e “baga” constituem “morango”, mas não entende a ordem das letras dessa palavra e não consegue contar o número de letras. Se você perguntar ao GPT “quantas vezes a letra R aparece na palavra morango”, o bot dará a resposta “3”.

«É difícil definir o que exatamente deveria contar como uma palavra para um modelo de linguagem, e mesmo se reuníssemos especialistas para chegar a um acordo sobre um dicionário ideal de tokens, os modelos provavelmente ainda achariam útil quebrar as palavras em partes ainda menores, explica Sheridan Feucht. , estudante de pós-graduação na Northeastern University (Massachusetts, EUA) estudando interpretabilidade do LLM. “Acho que não existe um tokenizador perfeito por causa dessa imprecisão.” Feucht acredita que seria melhor permitir que os modelos analisassem os personagens diretamente, sem impor a tokenização, mas observa que isso simplesmente não é computacionalmente viável para os Transformers no momento.

As coisas ficam ainda mais complicadas quando o LLM estuda vários idiomas. Por exemplo, alguns métodos de tokenização podem assumir que um espaço em uma frase sempre precede uma nova palavra, mas muitos idiomas, como chinês, japonês, tailandês, laosiano, coreano, khmer e outros, não usam espaços para separar palavras. A desenvolvedora do Google DeepMind, Yennie Jun, descobriu em um estudo de 2023 que alguns idiomas exigem 10 vezes mais tokens do que o inglês para transmitir o mesmo significado.

Enquanto circulam memes on-line sobre muitos modelos de IA que não conseguem soletrar ou contar corretamente o número de “r” na palavra inglesa morango, a OpenAI está trabalhando em um novo produto de IA com o codinome Strawberry, que deverá ser ainda mais hábil no raciocínio. e será capaz de resolver palavras cruzadas do The New York Times, que exigem pensamento criativo, bem como resolver equações matemáticas altamente complexas.