Intel apresenta resultados Habana Gaudi2 e Xeon Sapphire Rapids no benchmark MLPerf Training 3.0 AI

O grupo MLCommons, desenvolvedor do conjunto de testes MLPerf AI, publicou os resultados do MLPerf Training v3.0. Entre os dispositivos testados estão os aceleradores Habana Gaudi2 e os processadores Intel Xeon Sapphire Rapids.

Há uma percepção generalizada na indústria de que IA generativa e modelos de linguagem grande (LLMs) são construídos quase exclusivamente em hardware NVIDIA. Mas, como mostram os resultados publicados, a Intel está pronta para competir com a NVIDIA neste setor.

O ecossistema de software Habana, segundo a Intel, atingiu o grau de maturidade necessário, e as soluções da empresa permitem falar em competitividade mesmo com a NVIDIA H100. O desempenho e a escalabilidade do Gaudi2 foram testados usando o LLM GPT-3 (175 bilhões de parâmetros) – apenas a NVIDIA e a Intel conseguiram conquistar esse marco no MLPerf. Um cluster de 384 aceleradores Gaudi2 foi capaz de concluir o treinamento em 311 minutos e, com um aumento no número de aceleradores de 256 para 384, apresentou 95% de eficiência de dimensionamento.

Imagens: Intel

Também digno de nota é o fato de que, em comparação com os resultados de novembro, Gaudi2 demonstra ganhos de desempenho de 10% e 4% em BERT e ResNet, respectivamente, sem depuração e otimização especiais. Um cluster de 32 processadores Intel Xeon Sapphire Rapids também funcionou imediatamente, mostrando bons resultados em sua classe. Assim, na divisão “fechada”, ele conseguiu “manusear” BERT e ResNet-50 em 48 e 88 minutos, respectivamente. O suporte para Intel Advanced Matrix Extensions (AMX) forneceu um sólido aumento de desempenho.