A Microsoft anunciou a disponibilidade de instâncias Azure ND MI300X v5 baseadas em aceleradores AMD Instinct MI300X. Observa-se que esta é uma família qualitativamente nova de máquinas virtuais, que oferece a maior quantidade possível de memória HBM e desempenho líder do setor.
A Microsoft anunciou a preparação de instâncias ND MI300X v5 em novembro do ano passado. Uma máquina virtual combina oito aceleradores com 192 GB de memória HBM3, conectados entre si via Infinity Fabric 3.0 e ao host via PCIe 5.0. Assim, o volume total do HBM3 chega a 1,5 TB e a vazão é de 5,3 TB/s.
Fonte da imagem: Microsoft
Observa-se que as máquinas virtuais ND MI300X v5 utilizam a plataforma de software aberto AMD ROCm, que fornece um conjunto completo de ferramentas e bibliotecas para o desenvolvimento e implantação de IA. A plataforma ROCm oferece suporte a estruturas populares como TensorFlow e PyTorch, bem como bibliotecas de IA da Microsoft, incluindo ONNX Runtime, DeepSpeed e MSCCL. Além disso, o ROCm facilita a migração de modelos de uma plataforma para outra, resultando em custos mais baixos.
Hugging Face portou seus modelos para o ND MI300X v5 sem nenhuma alteração de código. Isso tornou possível aumentar o desempenho em 2 a 3 vezes em comparação com o AMD Instinct MI250.