Para evitar o espírito da Nvidia: ByteDance treinará um novo modelo de IA exclusivamente em aceleradores Huawei

A empresa chinesa ByteDance planeja desenvolver um novo modelo de IA treinado em aceleradores de inteligência artificial Ascend 910B da Huawei Technologies. A ByteDance tem diversificado consistentemente sua infraestrutura de computação, visando fabricantes chineses de semicondutores. A empresa também acelerou o desenvolvimento dos seus próprios aceleradores de IA.

Fonte da imagem: Pixabay

Falando sob condição de confidencialidade, várias fontes disseram que o próximo passo da ByteDance na corrida de IA será usar o chip Ascend 910B da Huawei para treinar seu próprio grande modelo de linguagem de IA. Anteriormente, a empresa usava esse acelerador principalmente para tarefas menos intensivas em termos computacionais, baseadas em modelos de IA pré-treinados.

O treinamento de modelos de IA requer uma enorme quantidade de recursos computacionais. Hoje, os aceleradores de IA mais poderosos são as mais recentes GPUs Nvidia, que se tornaram indisponíveis para as empresas chinesas devido às políticas de sanções dos EUA. Portanto, as capacidades e complexidade do novo modelo, que utiliza chips Huawei Ascend 910B, serão inferiores às do modelo ByteDance Doubao AI existente, treinado com processadores Nvidia.

A atual tecnologia de IA da ByteDance é usada em seu principal modelo de linguagem grande, lançado em agosto de 2023. Ele alimenta o chatbot Doubao e muitos outros aplicativos, incluindo a ferramenta de conversão de texto em vídeo Jimeng. Esses aplicativos estão se tornando cada vez mais populares, e o chatbot da ByteDance se tornou um dos aplicativos mais populares na China, com mais de 10 milhões de usuários ativos mensais.

A ByteDance encomendou mais de 100 mil chips Ascend 910B este ano, mas recebeu menos de 30 mil em julho, número insuficiente para atender às necessidades da empresa. Os atrasos na entrega e o poder computacional limitado desses chips tornam difícil prever quando o novo modelo de IA aparecerá, disseram as fontes.

Comentando a situação, o porta-voz da ByteDance, Michael Hughes, disse: “Toda a premissa aqui está errada. Nenhum novo modelo está sendo desenvolvido.” No entanto, fontes afirmam que a ByteDance é um dos maiores compradores de chips de IA da Huawei e planeja treinar seu novo modelo neles.

A empresa se tornou a maior compradora do chip H20 AI da Nvidia, que o fabricante norte-americano adaptou para o mercado chinês em resposta às restrições comerciais dos EUA. A ByteDance supostamente gastou US$ 2 bilhões em chips Nvidia no ano passado. A empresa também é o primeiro maior cliente asiático de computação em nuvem da Microsoft.