Intel capturou resultados de manipulação da AMD em testes EPYC AI contra Xeon

Na Computex 2024, a AMD anunciou uma nova geração de processadores para servidores EPYC Turin baseados na arquitetura Zen 5. Ao mesmo tempo, a empresa mostrou slides dos quais se conclui que as novas soluções estão seriamente à frente dos processadores Intel Xeon. Assim, o Truin de 128 núcleos é comparado com o Xeon Platinum 8592+ de 64 núcleos (Emerald Rapids). A AMD fala em superioridade de 2,5 a 5,4 vezes, mas a Intel refuta os resultados obtidos e examina a questão dos testes com detalhes suficientes em seu blog.

É claro que a superioridade da AMD em termos puramente quantitativos é óbvia, mas em tarefas de computação complexas, que incluem cenários de HPC e IA, a otimização de software pode desempenhar um papel igualmente importante, se não maior. A Intel observa que a AMD não forneceu informações específicas sobre versões e configurações de software em seu anúncio e provavelmente abandonou várias extensões. Mas, por exemplo, a extensão Intel para PyTorch (IPEX) permite obter um aumento de desempenho de mais de cinco vezes em comparação com a versão “pura” do PyTorch.

Para um sistema com dois Xeon Platinum 8592+, o uso de IPEX permite aumentar o desempenho de inferência no modo INT4 com um chatbot baseado em Llama2-7B de 127 para 686 solicitações por segundo com uma determinada latência de não mais que 50 EM. Para sua plataforma de 256 núcleos baseada em Turim, a AMD fala em 671 solicitações – como você pode ver, com otimização os resultados são bastante comparáveis.

Fonte: AMD

E o Xeon tem potencial para crescer ainda mais: a Intel relata que quando o Clustering Sub-NUMA é desabilitado, o resultado pode chegar a 740 solicitações. Infelizmente, a empresa não publicou diagramas para outros testes, embora a otimização também possa atingir um aumento de desempenho de 1,2 a 2,3 vezes. Isso não é mais suficiente para combater a plataforma Turin, que, além da superioridade no número de núcleos, também utiliza um subsistema de memória mais potente com 12 canais.

Fonte: Intel

Deve-se destacar que a Intel não deu a última palavra: o Xeon Platinum 8592+ não é mais novidade e em um futuro próximo a AMD Turin terá que enfrentar o Xeon 6 com maior contagem de núcleos. Por enquanto, esses chips estão disponíveis apenas em versões com núcleos de baixo consumo de energia, mas no terceiro trimestre aparecerão Granite Rapids de 128 núcleos com núcleos P de alto desempenho e memória de 12 canais.

Fonte: Intel

No entanto, o tema levantado é bastante fundamental: tanto a abordagem puramente quantitativa seguida pela AMD como a abordagem da Intel, que permite alcançar resultados elevados com uma optimização cuidadosa para uma arquitectura mais complexa, têm as suas vantagens. Não se pode dizer que os resultados da AMD sejam fraudulentos, embora esta não seja a primeira vez – de acordo com os testes da empresa, o acelerador Instinct MI300X está seriamente à frente do NVIDIA H100, mas a AMD também “esqueceu” da estrutura TensorRT-LLM otimizada. É verdade que naquela época era possível defender a “honra do uniforme” com otimizações da NVIDIA.