OpenAI abandona o modelo de IA com eficiência energética de Arrakis – seu desenvolvimento atingiu um beco sem saída inexplicável

A OpenAI, responsável pela rede neural GPT-4 e pelo serviço ChatGPT, estava trabalhando em um novo modelo de inteligência artificial chamado Arrakis, que oferecia maior eficiência e, consequentemente, menor custo de manutenção. Mas o projeto teve que ser suspenso devido a problemas de qualidade.

Fonte da imagem: Zac Wolff / unsplash.com

Supunha-se que o Arrakis teria capacidades comparáveis ​​ao GPT-4, mas seria mais barato de implantar – ele foi projetado usando o chamado princípio da dispersão. Isso significa que o processamento dos dados recebidos é realizado apenas por parte da rede neural, enquanto os “modelos densos” tradicionais utilizam todas as suas partes. O princípio da dispersão é utilizado, por exemplo, pelo Google no projeto Pathways.

O desenvolvimento do Arrakis começou no outono passado e o treinamento do modelo começou nesta primavera. Mas os desenvolvedores do OpenAI perceberam rapidamente que o sistema era muito lento. Durante um mês tentaram customizar o modelo, mas depois a direção encerrou o projeto. As razões do fracasso ainda não foram estabelecidas: o princípio da esparsidade funcionou bem nos primeiros testes, mas não se manifestou num modelo maior.

Apesar do fracasso, a OpenAI poderá utilizar os desenvolvimentos do Arrakis e do modelo multimodal Gobi em outros projetos. A Microsoft também tinha grandes esperanças em Arrakis: a gigante do software passou agora a desenvolver modelos de linguagem menos dispendiosos, à medida que o elevado custo de manutenção da IA ​​generativa começou a ameaçar o seu negócio.

Arrakis gerou não apenas texto, mas também imagens e vídeos; ela teve menos alucinações que o GPT-4; e ela poderia trabalhar como agente autônoma. O modelo foi parcialmente treinado em dados sintéticos e seu lançamento está previsto para 2024. O projeto poderá resultar em todo um sistema de criação de modelos mais eficientes – existe uma versão que contribuiu para o desenvolvimento da rede neural GPT-3.5 Turbo.