Supercomputador AI para ricos: agora no Google Cloud você pode obter imediatamente 26 mil aceleradores NVIDIA H100

O Google Cloud revelou as instâncias A3 do Google Compute Engine na Google I/O Developer Conference, criadas especificamente para maximizar o desempenho das cargas de trabalho de aprendizado de máquina. Novos itens usam CPUs modernas, memória rápida, aceleradores NVIDIA e IPUs Intel.

A máquina virtual A3 inclui:

• 8 funis NVIDIA H100.
• Switches NVIDIA NVSwitch com NVLink 4.0 fornecendo largura de banda de 3,6 TB/s entre os aceleradores.
• Processadores Intel Xeon Sapphire Rapids.
• RAM DDR5-4800 de 2 TB.
• IPU de 200 Gb/s, pilha dedicada de comunicação entre servidores GPU↔GPU e otimizações NCCL.

Além de usar os Mount Evans DPU/IPUs desenvolvidos em conjunto com a Intel, os clusters A3 também utilizam os switches ópticos reconfiguráveis ​​sob demanda do Google Jupiter que a empresa já usa em seus próprios clusters de aceleradores de IA. Tudo isso permite combinar até 26 mil aceleradores H100 em um supercomputador AI em nuvem com desempenho de até 26 Eflops.

Imagem: Google

A principal diferença de outras ofertas de nuvem está na interconexão e escalabilidade. Por exemplo, supercomputadores de IA no Microsoft Azure combinam milhares e até dezenas de milhares de aceleradores usando InfiniBand e NVIDIA DPUs. O Oracle Cloud Infrastructure (OCI), que anteriormente detinha um recorde de 32.768 pools de aceleradores, usa a mesma abordagem. Finalmente, até 20.000 aceleradores podem ser combinados na AWS graças ao EFA.

O Google oferecerá aos clientes várias opções para usar o A3: os clientes poderão executar a VM por conta própria ou como um serviço gerenciado, onde o Google cuidará da maior parte do trabalho. É possível usar A3 no Google Kubernetes Engine (GKE) ou no Vertex AI. Atualmente, as VMs A3 estão disponíveis apenas após o registro na lista de espera de visualização. Agora, a empresa está ocupada implantando vários clusters A3 nas maiores regiões de nuvem.