As primeiras instâncias de IA do setor baseadas em NVIDIA H100 NVL apareceram na nuvem Microsoft Azure

A Microsoft anunciou que as máquinas virtuais NC H100 v5 agora estão disponíveis na nuvem Azure para computação HPC e cargas de trabalho de IA. Estas são, como observado, as primeiras instâncias de nuvem do setor baseadas em aceleradores NVIDIA H100 NVL. Esta solução combina dois aceleradores H100 PCIe conectados via NVIDIA NVLink. A capacidade de memória do HBM3 é de 188 GB e o desempenho declarado do FP8 (com dispersão) chega a quase 4 Pflops.

As instâncias H100 v5 são baseadas na plataforma AMD EPYC Genoa. Dependendo da implementação, estão disponíveis 40 ou 80 vCPUs e 320 e 640 GB de memória, respectivamente. No primeiro caso, é utilizado um acelerador NVIDIA H100 NVL com 94 GB de memória HBM3, no segundo – dois aceleradores com um total de 188 GB de memória HBM3. A largura de banda da conexão de rede é de 40 e 80 Gbit/s.

Fonte da imagem: NVIDIA

Ao contrário das máquinas virtuais da série ND, que são projetadas para os maiores modelos de IA, as instâncias NC são otimizadas para treinamento e inferência de modelos menores que não exigem conjuntos de dados em grande escala. As máquinas virtuais Azure NC H100 v5 também são adequadas para determinadas cargas de trabalho de HPC: dinâmica de fluidos, dinâmica molecular, química quântica, previsão meteorológica e modelagem climática e análise financeira.

Em 2024, a Microsoft adicionará máquinas virtuais à nuvem Azure com os mais recentes aceleradores NVIDIA H200, que serão capazes de lidar com modelos maiores de IA sem aumentar a latência.