AMX e HBM2e dão ao Intel Xeon Max uma grande vantagem em algumas cargas de trabalho de IA

Novos dados sobre o desempenho dos processadores Intel Xeon Max com memória on-board HBM2e de 64 GB continuam aparecendo na Web. Desta vez, o recurso Phoronix publicou resultados comparativos de testes das plataformas Xeon Max 9480 de processador duplo em comparação com as soluções AMD EPYC 9004.

Não é segredo que os processadores Intel Xeon são significativamente inferiores em termos de número máximo de núcleos às soluções AMD EPYC há muito tempo – até mesmo os Sapphire Rapids comuns não têm mais de 60 deles, e o Xeon Max tem apenas 56 núcleos no máximo configuração. No entanto, a Intel nesta geração está tentando cobrar seu preço não por número, mas por habilidade – suporte para novas extensões, em particular, AMX.

Um novo teste de carga de trabalho de IA publicado pela Phoronix envolve um sistema baseado em Xeon Max 9480 de soquete duplo em vários modos (somente HBM, sem HBM ou HBM em cache), bem como dois sistemas AMD de soquete duplo baseados em EPYC 9554 (128 núcleos) . ) e EPYC 9654 (192 núcleos). Os frameworks OpenVINO (otimizado para AMX) e ONNX (sem otimização profunda) foram escolhidos como benchmarks.

Fonte aqui e abaixo: Phoronix

Em vários testes do OpenVINO, o resultado mais alto foi demonstrado pela plataforma Xeon Max no modo HBM Only, apesar do enorme atraso em termos de número de núcleos. E o pior resultado também pertence ao Xeon Max, mas quando o HBM está desabilitado e mudando para o AVX512 FP16 sem usar o AMX.

Às vezes, a AMD consegue se vingar graças ao número de núcleos, e desabilitar o HBM2e nem sempre salva os Reds – com a ajuda do AMX, os Blues continuam liderando com bastante confiança em muitos testes. O teste no ONNX Runtime 1.14 baseado no modelo de linguagem GPT-2 também mostrou que o Xeon Max está à frente do EPYC Genoa – mas um ganho sério é alcançado apenas ao usar o HBM.

Mesmo sem HBM, o suporte AMX ajuda o Xeon Max a mostrar um resultado decente

A abordagem da Intel mostra excelentes resultados: em alguns casos, a transição de AVX512 para AMX permite aumentar o desempenho em 2,5 vezes. Graças ao HBM2e, você pode obter cerca de 25% a mais e, em geral, o aumento pode chegar a 3,13 vezes. No entanto, a AMD tem EPYC Genoa-X em estoque com um enorme V-Cache 3D, então vale a pena esperar pela próxima rodada desta batalha.