A OpenAI, responsável pela rede neural GPT-4 e pelo serviço ChatGPT, estava trabalhando em um novo modelo de inteligência artificial chamado Arrakis, que oferecia maior eficiência e, consequentemente, menor custo de manutenção. Mas o projeto teve que ser suspenso devido a problemas de qualidade.
Fonte da imagem: Zac Wolff / unsplash.com
Supunha-se que o Arrakis teria capacidades comparáveis ao GPT-4, mas seria mais barato de implantar – ele foi projetado usando o chamado princípio da dispersão. Isso significa que o processamento dos dados recebidos é realizado apenas por parte da rede neural, enquanto os “modelos densos” tradicionais utilizam todas as suas partes. O princípio da dispersão é utilizado, por exemplo, pelo Google no projeto Pathways.
O desenvolvimento do Arrakis começou no outono passado e o treinamento do modelo começou nesta primavera. Mas os desenvolvedores do OpenAI perceberam rapidamente que o sistema era muito lento. Durante um mês tentaram customizar o modelo, mas depois a direção encerrou o projeto. As razões do fracasso ainda não foram estabelecidas: o princípio da esparsidade funcionou bem nos primeiros testes, mas não se manifestou num modelo maior.
Apesar do fracasso, a OpenAI poderá utilizar os desenvolvimentos do Arrakis e do modelo multimodal Gobi em outros projetos. A Microsoft também tinha grandes esperanças em Arrakis: a gigante do software passou agora a desenvolver modelos de linguagem menos dispendiosos, à medida que o elevado custo de manutenção da IA generativa começou a ameaçar o seu negócio.
Arrakis gerou não apenas texto, mas também imagens e vídeos; ela teve menos alucinações que o GPT-4; e ela poderia trabalhar como agente autônoma. O modelo foi parcialmente treinado em dados sintéticos e seu lançamento está previsto para 2024. O projeto poderá resultar em todo um sistema de criação de modelos mais eficientes – existe uma versão que contribuiu para o desenvolvimento da rede neural GPT-3.5 Turbo.