A Intel Corporation revelou um sistema de rack híbrido. O dispositivo conecta os conjuntos de aceleradores Gaudi3 e NVIDIA B200 via Ethernet.
A plataforma Gaudi3 Rack Scale 64 contém até 16 nós de computação. Cada um é equipado com dois processadores Intel Xeon sem nome, quatro aceleradores Intel Gaudi 3 OAM (64 em um único domínio), quatro adaptadores NVIDIA ConnectX-7 400GbE e uma DPU NVIDIA BlueField-3, de acordo com a SemiAnalysis. Um total de 8,2 TB de HBM2e está disponível, com uma taxa de transferência agregada de 76,8 TB/s. O superacelerador tem uma potência de 120 kW. Além disso, são utilizados 12 switches baseados em chips Broadcom Tomahawk 5 (51,2 Tbps). A Ethernet é usada para escalonamento e comunicação com outros nós, incluindo a NVIDIA.
No sistema híbrido, os aceleradores Intel Gaudi 3 são usados para a etapa de decodificação, ou seja, geração de tokens, onde a capacidade de memória e a largura de banda são críticas, enquanto os chips NVIDIA B200 são responsáveis pelas tarefas de pré-preenchimento de inferência, ou seja, processamento de contexto e preenchimento de KVCache, onde a velocidade computacional é crucial. A NVIDIA está adotando a mesma abordagem e já anunciou os coaceleradores Rubin CPX, que lidarão com o processamento de contexto em modelos ultragrandes e a criação de KVCache.
Fonte da imagem: Intel
A Intel afirma que uma configuração híbrida de Gaudi3 e B200 oferece um ganho de 1,7x no custo total de propriedade (TCO) por dólar em comparação com plataformas que utilizam apenas o B200. No entanto, como observado, essas alegações ainda não foram validadas por testes independentes. Além disso, a plataforma de software Gaudi3 fica atrás da plataforma da NVIDIA e é de código fechado. Além disso, a arquitetura atual do Gaudi está se aproximando do fim de sua vida útil, lançando dúvidas sobre a viabilidade a longo prazo da plataforma proposta.
Para a Intel, esta pode ser uma das poucas chances de vender o Gaudi3 restante. Enquanto isso, a Intel anunciou recentemente o acelerador de GPU Crescent Island, projetado especificamente para inferência de IA. Baseada na arquitetura Xe3P, a solução contará com 160 GB de memória LPDDR5X. As remessas em massa não são esperadas antes de 2027. A empresa havia abandonado os planos de lançar o Falcon Shores, concentrando-se no Jaguar Shores. Agora, a empresa começou a descontinuar o suporte aos aceleradores Ponte Vecchio (Intel Max) e Arctic Sound (Flex).