Junto com os aceleradores A100 atualizados e produtos baseados nele, a NVIDIA anunciou soluções baseadas no padrão InfiniBand NDR, que, como deveria ser, dobra a largura de banda de uma linha para 100 Gbps. Os novos adaptadores e DPUs da NVIDIA terão portas e switches de 400 Gbps – 64 portas de 400 Gbps ou 128 portas de 200 Gbps, capazes de lidar com 66,5 bilhões de pacotes por segundo. Os switches modulares permitirão que você obtenha até 2048 portas com uma largura de banda total de 1,64 Pbit / s.
Além disso, a escalabilidade da rede foi aprimorada, que é capaz de conectar mais de um milhão de GPUs com apenas três saltos entre qualquer uma delas. E com o aumento do número de nós, tanto o custo de propriedade quanto o consumo de energia diminuem, o que será importante para os supercomputadores da classe exafplus. A empresa observa separadamente que o InfiniBand NDR conseguiu manter a capacidade de usar cabos de cobre passivos em distâncias curtas (até 1,5 m).
Além de aumentar a taxa de transferência, o desempenho do MPI foi quadruplicado, pelo qual mecanismos de hardware separados são responsáveis. E os aplicativos de IA podem obter aceleração adicional graças à tecnologia Mellanox SHARP (Scalable Hierarchical Aggregation and Reduction Protocol). DPUs, devido à presença de núcleos de uso geral, podem assumir parte do processamento de dados e, ao longo do caminho, ser responsáveis pela segurança, isolamento, monitoramento e gerenciamento de infraestrutura. Geralmente, a NVIDIA está falando sobre uma CPU distribuída “viva” na rede, que complementa efetivamente os aceleradores da empresa.
No entanto, o InfiniBand NDR, como o padrão concorrente de 400GbE, tem uma desvantagem. Novos adaptadores requerem 16 pistas PCIe 5.0 ou 32 pistas PCIe 4.0. O PCIe 5.0 não estará disponível em breve, e as linhas PCIe 4.0 em sistemas modernos estão sedentos não apenas por adaptadores, mas também pelos próprios drives e aceleradores. O uso de switches PCIe pode reduzir a eficiência da troca de dados, então provavelmente a coisa mais interessante seria ver DPUs com complexos de raiz, mas maiores. Os primeiros produtos baseados na nova norma devem aparecer no segundo trimestre de 2021.