Quad H200 NVL e 5,5 kW GB200 NVL4: NVIDIA introduziu novos aceleradores de IA

A NVIDIA anunciou o acelerador H200 NVL, projetado como uma placa de expansão PCIe de slot duplo. Diz-se que o produto é voltado para sistemas empresariais refrigerados a ar altamente configuráveis ​​para aplicações de IA e HPC.

Assim como a versão SXM do NVIDIA H200, o acelerador apresentado recebeu 141 GB de memória HBM3e com largura de banda de 4,8 TB/s. Ao mesmo tempo, o TDP máximo foi reduzido de 700 para 600 W. Quatro placas podem ser conectadas via interconexão NVIDIA NVLink com uma taxa de transferência de até 900 GB/s por GPU. Neste caso, os aceleradores são conectados ao sistema host via PCIe 5.0 x16.

Você pode instalar dois desses pacotes em um servidor, o que fornecerá um total de oito aceleradores H200 NVL e 1126 GB de memória HBM3e, o que é muito significativo para cargas de trabalho de inferência. O desempenho declarado do FP8 da placa H200 NVL atinge 3,34 Pflops contra aproximadamente 4 Pflops para a versão SXM. A velocidade do FP32 e FP64 é de 60 e 30 Tflops, respectivamente. O desempenho do INT8 é de até 3,34 Pflops. Uma licença para a plataforma de software NVIDIA AI Enterprise está incluída nas placas.

Fonte da imagem: NVIDIA

Além disso, a NVIDIA anunciou aceleradores GB200 NVL4 com refrigeração líquida. Eles incluem dois superchips Grace-Backwell, que fornecem dois processadores Grace de 72 núcleos e quatro aceleradores B100. A capacidade de memória LPDDR5X ECC é de 960 GB, a memória HBM3e é de 768 GB. É usada a interconexão NVlink-C2C com taxa de transferência de até 900 GB/s, com todos os seis chips CPU-GPU localizados no mesmo domínio.

O sistema GB200 NVL4 é equipado com dois conectores M.2 22110/2280 para SSDs com interface PCIe 5.0, oito slots para drives NVMe E1.S (PCIe 5.0), seis interfaces para placas FHFL PCIe 5.0 x16, uma porta USB, um Conector de rede RJ45 (IPMI) e interface Mini-DisplayPort. O dispositivo é fabricado no formato 2U com dimensões de 440x88x900 mm e pesa 45 kg. TDP ajustável – de 2,75 kW a 5,5 kW.