Modelo de IA DeepSeek R1 lançado nos aceleradores chineses soberanos da Sophgo

A alta demanda por aceleradores de computação da Nvidia e de outras marcas populares, por si só, limita sua disponibilidade e, no caso dos desenvolvedores chineses de IA, tudo é agravado pelas sanções americanas. Não é de surpreender que, nas circunstâncias atuais, eles tenham preferido recorrer a aceleradores de origem local; para a DeepSeek, os aceleradores da Sophgo foram adequados nesse sentido.

Fonte da imagem: DeepSeek

Pelo menos, seu uso bem-sucedido é relatado pelo South China Morning Post, citando declarações da Sophgo. De acordo com o laboratório chinês CTTL, os aceleradores SC11 FP300 desta empresa demonstraram alto desempenho e operação estável em tarefas relacionadas à formação de conclusões lógicas (inferência) usando o modelo de linguagem de grande porte DeepSeek R1. Essas tarefas exigem menos recursos computacionais em comparação com a etapa de treinamento de modelos de linguagem de grande porte.

O acelerador FP300 foi lançado pela Sophgo no ano passado. Ele é equipado com 256 GB de memória de alta velocidade, proporcionando uma taxa de transferência de até 1,1 TB/s, e é tecnicamente adequado para treinar grandes modelos de linguagem. Ao mesmo tempo, esta solução de hardware é ainda mais adequada para trabalhar com modelos de raciocínio.

Conforme observado anteriormente, a empresa chinesa DeepSeek já teve que adiar o lançamento de seu modelo R2, que estava programado para maio, devido a problemas com o acesso aos recursos computacionais necessários para seu treinamento. Enquanto isso, a empresa chinesa iFlyTek já anunciou uma transição completa para aceleradores de computação da Huawei. As soluções chinesas da série Ascend 910B permitem atingir eficiência computacional no nível de 73% contra os 25% que estavam disponíveis ao usar o Nvidia A800 no final do ano passado. No entanto, a migração para aceleradores chineses ainda causou um atraso de três meses no lançamento de novos modelos de linguagem. A iFlyTek e a Sophgo estão sob várias sanções dos EUA, então elas são forçadas a se aproximar para atingir seus objetivos diante de restrições externas.