A NVIDIA anunciou que em todos os oito benchmarks MLPerf Training v3.0 AI, seus aceleradores H100 estabeleceram novos recordes, tanto individualmente quanto como parte de clusters. Em particular, um cluster comercialmente disponível de 3.584 aceleradores H100, criado pela startup Inflection AI e pela nuvem CoreWeave, conseguiu concluir o treinamento do modelo GPT-3 AI em menos de 11 minutos.
Fundada em 2022, a Inflection AI usou o poder das soluções da NVIDIA para criar um modelo avançado de linguagem grande (LLM) para seu primeiro projeto chamado Pi. A empresa planeja atuar como um estúdio de IA, criando IAs personalizados com os quais os usuários podem interagir de maneira simples e natural. A Inflection AI está trabalhando com a CoreWeave para criar um dos maiores clusters de IA do mundo com base nos aceleradores da NVIDIA.
«Hoje, nossos clientes estão construindo IA generativa avançada e LLM em massa com milhares de aceleradores H100 conectados por redes InfiniBand rápidas e de baixa latência”, disse Brian Venturo, cofundador e CTO da CoreWeave. “Nosso aplicativo MLPerf conjunto com a NVIDIA demonstra claramente seu alto desempenho.” Separadamente, é enfatizado que, graças ao NVIDIA Quantum-2 InfiniBand, o cluster de nuvem CoreWeave forneceu o mesmo desempenho que o supercomputador NVIDIA AI local.
Fonte da imagem: NVIDIA
A NVIDIA observou que o H100 apresentou desempenho superior em todos os testes MLPerf, incluindo LLM, sistemas de recomendação, visão computacional, imagens médicas e reconhecimento de fala. “Esses foram os únicos chips que passaram em todos os oito testes, demonstrando a versatilidade da plataforma de IA da NVIDIA”, disse a empresa. E graças à otimização de toda a pilha, a NVIDIA conseguiu obter um aumento de desempenho quase linear no teste LLM com um aumento no número de aceleradores de centenas para milhares. Separadamente, a empresa lembrou a eficiência energética do H100.
Também é relatado que o benchmark MLPerf atualizado para sistemas de recomendação usa um conjunto de dados maior e um modelo mais moderno, que reflete melhor os problemas enfrentados pelos provedores de serviços em nuvem. A NVIDIA foi a única empresa a fornecer resultados de teste estendidos. A empresa também apresentou os resultados do MLPerf para as plataformas L4 e Jetson. Bem, na próxima rodada do MLPerf, você deve esperar pelo aparecimento da NVIDIA Grace Hopper.
Na rodada atual, os resultados dos testes com a plataforma NVIDIA foram apresentados por uma dezena de empresas. Os aplicativos foram recebidos dos principais fabricantes de sistemas, incluindo ASUS, Dell Technologies, GIGABYTE, Lenovo e QCT. Mais de 30 medições foram feitas nos aceleradores H100. A NVIDIA observou a transparência e objetividade dos testes, para que os usuários possam confiar totalmente nos resultados do MLPerf para tomar decisões sobre a compra de sistemas.