O modelo OpenAI o1 AI às vezes pensa em chinês e ninguém sabe por quê

O modelo de IA de raciocínio OpenAI o1 surpreende pelas suas habilidades linguísticas, alternando para diferentes idiomas no processo de resolução de problemas, inclusive chinês, mesmo que a solicitação tenha sido feita em inglês. Os especialistas estão perplexos, mas a OpenAI não tem pressa em explicar.

Fonte da imagem: hdhAI

A OpenAI apresentou no ano passado seu primeiro modelo de inteligência artificial (IA) com capacidades de raciocínio, o1. Porém, os usuários notaram uma característica curiosa: a modelo às vezes começa a pensar em chinês, persa ou outros idiomas, mesmo que a pergunta tenha sido feita em inglês. Por exemplo, ao resolver o problema “Quantas letras R tem a palavra morango?” o1 pode realizar parte do raciocínio em chinês antes de produzir a resposta final em inglês.

Os especialistas apresentam diversas teorias para explicar esse fenômeno. Uma delas é a hipótese sobre a influência dos dados chineses sobre os quais o modelo foi treinado. Clement Delangue, CEO da Hugging Face, que desenvolve ferramentas para construção de aplicativos usando aprendizado de máquina, e Ted Xiao, pesquisador do Google DeepMind, observam que muitas empresas, incluindo a OpenAI, usam os serviços de empresas chinesas terceirizadas para rotular os dados necessários. para treinar modelos. Isto, na sua opinião, pode levar ao facto de o modelo o1, em alguns casos, preferir a língua chinesa no seu raciocínio, por ser mais eficaz no processamento de informação.

No entanto, nem todos concordam com esta teoria. Alguns especialistas apontam que a influência dos dados chineses não está confirmada e o modelo pode, de facto, mudar para diferentes idiomas, incluindo hindi e tailandês. Isto pode ser devido ao fato de o1 simplesmente escolher a maneira mais conveniente de resolver o problema. De acordo com Matthew Guzdial, pesquisador de IA da Universidade de Alberta, o modelo o1 não trata as linguagens como entidades separadas, mas apenas texto simples composto por um conjunto de tokens que processa.

Em última análise, as razões exatas para o comportamento do raciocínio do modelo em diferentes linguagens permanecem um mistério. Luca Soldaini, pesquisador do Allen Institute for AI, enfatiza que devido à “opacidade dos modelos de IA, é impossível estabelecer exatamente o que está acontecendo lá dentro” e como tudo funciona. A própria OpenAI permanece em silêncio por enquanto.