Os chineses treinaram um análogo do GPT-4 com apenas 2.000 chips e 33 vezes mais barato que OpenAI

Fonte da imagem: Copiloto

A conquista da 01.ai é especialmente notável dado o acesso limitado que as empresas chinesas têm às GPUs avançadas da Nvidia. O fundador e CEO da empresa, Kai-Fu Lee, destaca que, apesar das empresas chinesas praticamente não terem acesso às GPUs Nvidia devido às regulamentações dos EUA, o modelo de IA da Yi-Lightning ficou em sexto lugar nos modelos de classificação de desempenho de acordo com a versão LMSIS da Universidade da Califórnia em Berkeley.

Fonte da imagem: NVIDIA

«Meus amigos no Vale do Silício estão chocados não apenas com nosso desempenho, mas também com o fato de termos treinado um modelo por apenas US$ 3 milhões”, disse Kai-Fu Lee. “Há rumores de que aproximadamente US$ 1 bilhão já foi investido no treinamento do GPT-5.” Acrescentou ainda que devido às sanções dos EUA, as empresas na China são obrigadas a procurar soluções mais eficientes e económicas, que foi o que 01.ai conseguiu alcançar ao optimizar recursos e ideias de engenharia, ao mesmo tempo que obteve resultados semelhantes aos do GPT-4. a custos significativamente mais baixos.

Em vez de aumentar o poder computacional como os concorrentes estão fazendo, a empresa concentrou-se na otimização de algoritmos e na redução de gargalos de processamento. “Quando temos apenas 2.000 GPUs, temos que descobrir como usá-las [efetivamente]”, disse Lee.

Como resultado, os custos de produção do modelo foram de apenas 10 centavos por milhão de tokens, o que é aproximadamente 30 vezes menor que modelos semelhantes. “Transformamos o problema computacional em um problema de memória construindo um cache multinível, criando um mecanismo de inferência especial e assim por diante”, Li compartilhou os detalhes.

Apesar das afirmações sobre o baixo custo de treinamento do modelo Yi-Lightning, permanecem dúvidas sobre o tipo e o número de GPUs usadas. O chefe da 01.ai afirma que a empresa tem recursos suficientes para implementar seus planos por um ano e meio, mas um cálculo simples mostra que 2.000 GPUs Nvidia H100 modernas ao preço atual de US$ 30.000 por unidade custariam US$ 6 milhões, o que é o dobro dos custos declarados. Esta discrepância levanta questões e requer esclarecimentos adicionais. No entanto, a conquista da empresa já atraiu a atenção da comunidade mundial e mostrou que a inovação no campo da IA ​​pode nascer mesmo em condições de recursos computacionais limitados.

avalanche

Postagens recentes

Espera-se que o modelo de IA mais recente, DeepSeek V4, seja otimizado para aceleradores de computação chineses.

Segundo o Financial Times, esta semana a DeepSeek, empresa chinesa, deverá apresentar seu tão aguardado…

26 minutos atrás

O Pentágono e a Anthropic tentaram salvar o acordo até o último minuto.

Na semana passada, um escândalo eclodiu em torno da colaboração da Anthropic com o Departamento…

1 hora atrás

O CEO da OpenAI afirma que empresas privadas não podem ter mais poder do que o governo dos EUA.

Na sexta-feira à noite, Sam Altman anunciou que a OpenAI, sua empresa, havia garantido um…

2 horas atrás

A Lenovo apresentou um tablet com um controle de jogos e uma tela dobrável que se transforma em um laptop.

A Lenovo, maior fabricante de PCs da China, utiliza diversos eventos para apresentar seus desenvolvimentos…

5 horas atrás

A Broadcom promete produzir um milhão de chips 3D até 2027, desafiando a Nvidia.

A Broadcom anunciou avanços significativos no desenvolvimento da tecnologia de encapsulamento de chips 3D, com…

8 horas atrás