Cluster de IA Huawei CloudMatrix 384 supera soluções Nvidia em testes DeepSeek R1

O novo cluster de IA CloudMatrix 384 da Huawei, construído com os processadores Ascend 910C da China, alcançou resultados antes considerados impossíveis sem os chips de ponta da Nvidia. De acordo com a Huawei e a startup chinesa SiliconFlow em um white paper, o sistema da Huawei superou tanto o acelerador Nvidia H800 modificado para exportação para a China quanto o modelo topo de linha H100 ao executar o DeepSeek R1 LLM.

Fonte da imagem: Huawei

O CloudMatrix combina 384 processadores HiSilicon Ascend 910C de chip duplo, alojados em 16 racks de servidores, bem como 192 processadores centrais conectados entre si por meio de canais de comunicação de fibra óptica, proporcionando transferência de dados em alta velocidade dentro e entre os servidores. Segundo os criadores, essa arquitetura deveria se tornar a base para uma nova geração de infraestrutura de IA capaz de competir com as tecnologias ocidentais sem o uso de semicondutores avançados. O sistema, de fato, tornou-se um exemplo de como, aumentando a potência devido à escala dos equipamentos, é possível compensar a falta de acesso a tecnologias avançadas.

O principal objetivo do experimento foi fortalecer a confiança do ambiente tecnológico nacional em seus próprios desenvolvimentos. O experimento provou que as NPUs chinesas não podem ser piores que os processadores gráficos da Nvidia. Teoricamente, o CloudMatrix 384 realmente tem um grande potencial: seu poder de computação atinge 300 PFLOPs no formato BF16 contra 180 PFLOPs para o sistema GB200 NVL72 da Nvidia. O documento também indica que o software CloudMatrix-Infer da Huawei permite gerar 4,45 tokens por segundo por TFLOP durante o pré-processamento de consultas e 1,29 tokens por segundo por TFLOP durante a geração de respostas, o que, de acordo com o estudo, excede a eficiência da estrutura SGLang da Nvidia.

Ao mesmo tempo, os especialistas enfatizam que a vantagem do CloudMatrix 384 tem sua desvantagem: a eficiência energética limitada. O cluster consome 559 quilowatts de eletricidade, quatro vezes mais que o sistema de computação GB200 NVL72, que consome 145 kW. Portanto, a potência adicional precisa ser compensada com um consumo de energia significativamente maior. A eficiência energética do sistema chinês é aproximadamente 2,3 vezes menor que a do seu equivalente da Nvidia.