A NVIDIA, de acordo com o The Information Resource, é forçada a atrasar o início da produção em massa de aceleradores de IA de próxima geração baseados na arquitetura Blackwell, enquanto mantém o alto ritmo de produção do Hopper. Diz-se que o problema está relacionado à tecnologia de embalagem Chip on Wafer on Substrate (CoWoS) da TSMC.
Note-se que a NVIDIA informou recentemente a Microsoft sobre atrasos que afetam as soluções mais avançadas da família Blackwell. Estamos falando, em particular, dos produtos Blackwell B200. A produção em série destes aceleradores pode ser adiada por pelo menos três meses – na melhor das hipóteses, até o primeiro trimestre de 2025. Isso poderia impactar os planos da Microsoft, Meta✴ e outros operadores de data center para expandir a capacidade para cargas de trabalho de IA e HPC.
Segundo a empresa de pesquisa SemiAnalysis, o atraso se deve ao design físico dos produtos da Blackwell. Estes são os primeiros aceleradores convencionais a usar a tecnologia de empacotamento CoWoS-L da TSMC. Esta é uma técnica complexa e altamente precisa que envolve o uso de um intermediário orgânico – o limite das capacidades da tecnologia CoWoS-S da geração anterior foi alcançado no AMD Instinct MI300X. Um intermediário de silício adequado para o B200 seria muito frágil. Porém, o interpositor orgânico não possui as melhores características elétricas, por isso pontes de silício são utilizadas para comunicação.
O principal problema está nos materiais utilizados – devido à diferença no coeficiente de dilatação térmica dos diversos componentes, surgem dobras que destroem os contatos e os próprios chips. Ao mesmo tempo, a exatidão e a precisão das conexões são extremamente importantes para o funcionamento da interconexão interna NV-HBI, que conecta dois blocos de computação a uma velocidade de 10 TB/s. Portanto, agora NVIDIA e TSMC estão ocupadas processando pontes e, segundo rumores, várias camadas de metalização dos próprios ladrilhos.
No entanto, a TSMC está enfrentando escassez de capacidade de embalagem CoWoS. A empresa tem aumentado as capacidades do CoWoS-S nos últimos dois anos, principalmente para atender às necessidades da NVIDIA, mas esta está agora migrando seus produtos para o CoWoS-L. Portanto, a TSMC está construindo uma fábrica de AP6 para a nova tecnologia de embalagem e também transferirá as capacidades existentes de AP3 para CoWoS-L. Ao mesmo tempo, os concorrentes da TSMC não podem e é improvável que consigam fornecer pelo menos alguma tecnologia de embalagem alternativa que seja adequada à NVIDIA num futuro próximo.
Assim, é relatado que a NVIDIA terá que decidir como utilizar a capacidade de produção disponível da TSMC. De acordo com a SemiAnalysis, a empresa está quase inteiramente focada nos superaceleradores de montagem em rack GB200 NVL36/72, que irão para hiperscaladores e um pequeno número de outros players, enquanto as soluções B100 e B200 HGX estão “agora efetivamente canceladas”, embora pequenas quantidades deste último ainda deverão chegar ao mercado. No entanto, a NVIDIA também tem um plano de backup.
O plano é lançar chips B200A monolíticos simplificados baseados em uma única matriz B102, que também servirá de base para o acelerador B20, voltado para a China. O B200A receberá apenas quatro pilhas HBM3e (144 GB, 4 TB/s), e seu TDP será de 700 ou 1000 W. Uma vantagem importante neste caso é a possibilidade de utilização de embalagens CoWoS-S. Os chips B200A acabarão em sistemas HGX de massa, em vez dos B100/B200 originalmente planejados.
O B200A será substituído pelo B200A Ultra, que terá maior desempenho, mas não haverá upgrade de memória. Eles também farão parte da plataforma HGX, mas isso não é o principal. Com base neles, a NVIDIA oferecerá superaceleradores de compromisso MGX GB200A Ultra NVL36. Eles receberão oito nós 2U, cada um com um processador Grace e quatro B200A Ultra de 700 W. Os aceleradores ainda serão totalmente integrados pelo barramento NVLink5 (switches 1U de chip único), mas dentro do nó toda a comunicação com a CPU será vinculada a switches PCIe em dois adaptadores ConnectX-8.
A principal vantagem do GX GB200A Ultra NVL36 será o resfriamento a ar devido à sua potência relativamente baixa – apenas 40 kW por rack. Isso é muito, mas ainda permitirá colocar novos produtos em muitos data centers sem seu reequipamento radical, embora ao custo de perder densidade de posicionamento (por exemplo, pular linhas). De acordo com a SemiAnalysis, esses superaceleradores, em caso de escassez de GB200 NVL72/36 “completos”, também serão adquiridos por hiperscaladores.