As plataformas de computação NVIDIA demonstraram novamente alto desempenho, desta vez nos últimos testes MLPerf Training v4.0. Assim, o supercomputador NVIDIA EOS-DFW mais que triplicou seu desempenho no teste LLM baseado no GPT-3 175B em comparação ao resultado do ano passado.
Alegadamente, 11.616 aceleradores NVIDIA H100, combinados com a interconexão NVIDIA Quantum-2 InfiniBand de 400G, permitiram que o supercomputador EOS alcançasse um resultado tão significativo graças a uma abordagem maior e mais abrangente ao design do sistema. Isso possibilita treinar e operar modelos grandes com mais eficiência, economizando tempo e recursos, afirma a empresa. E o acelerador H200 mais moderno com um subsistema de memória aprimorado no MLPerf Training é 14% mais rápido que o H100, e nos testes GNN (RGAT) os nós com H200 revelaram-se mais rápidos que os nós com H100 em 47%.
Fonte da imagem: NVIDIA
De acordo com a empresa, os provedores de serviços LLM podem gerar US$ 7 em apenas quatro anos com um investimento de US$ 1 usando o modelo Llama 3 70B em servidores baseados em NVIDIA HGX H200, assumindo US$ 0,60 por milhão de manutenção e rendimento de token. A capacidade do HGX H200 é de 24 mil tokens por segundo.
O crescimento da produtividade também foi facilitado por melhorias e otimizações de software. Assim, um cluster de 512 chips H100 tornou-se 27% mais rápido ao longo de um ano, e o crescimento do desempenho com o aumento do número de aceleradores agora é mais linear. No novo teste de treinamento MLPerf para ajuste LLM (LoRA aplicado ao Meta✴ Llama 2 70B), os sistemas NVIDIA mostraram escalonamento eficaz com o número de aceleradores de 8 a 1024. A NVIDIA também aumentou o desempenho de treinamento do Stable Diffusion v2 em quase 80% em as mesmas escalas de sistema apresentadas em testes anteriores.
A NVIDIA observou que para empresas que executam aplicativos baseados em LLM, o alto desempenho é de grande importância. A capacidade de treinar e ajustar modelos mais poderosos — e colocá-los em funcionamento mais rapidamente — levará a melhores resultados e maiores receitas. E com o lançamento da plataforma NVIDIA Blackwell, em breve será possível treinar e inferir modelos generativos de IA com um trilhão de parâmetros.