A Intel divulgou os resultados dos testes do acelerador Habana Gaudi2 no benchmark GPT-J (parte do MLPerf Inference v3.1), baseado em um modelo de linguagem grande (LLM) com 6 bilhões de parâmetros. Os dados obtidos sugerem que este produto pode se tornar uma alternativa à solução NVIDIA H100 no mercado de IA.
Em particular, no teste GPT-J, o acelerador H100 mostra uma vantagem de desempenho relativamente pequena sobre Gaudi2 – ×1,09 no modo servidor e ×1,28 no modo offline. Ao mesmo tempo, Gaudi2 supera o acelerador NVIDIA A100 em 2,4 vezes no modo servidor e 2 vezes no modo offline.
Além disso, a solução da Intel está à frente do H100 nos modelos BridgeTower. Este teste foi treinado em 4 milhões de imagens. Diz-se que a precisão da resposta visual a perguntas (VQAv2) chega a 78,73%. Quando ampliado, o modelo tem uma precisão ainda maior de 81,15%, superando os modelos treinados em conjuntos de dados muito maiores.
O teste GPT-J fala da competitividade de Habana Gaudi2. Ao processar consultas on-line, esse acelerador atinge uma taxa de transferência de 78,58 amostras por segundo e, no modo off-line, atinge 84,08 amostras por segundo. Para efeito de comparação: para o NVIDIA H100 esses números são 85,57 e 107,33 amostras por segundo, respectivamente.
No futuro, a Intel planeja melhorar o desempenho e a cobertura do modelo nos testes MLPerf por meio de atualizações regulares de software. Mas a Intel ainda está se atualizando – a NVIDIA preparou uma ferramenta TensorRT-LLM aberta e gratuita, que não apenas dobra a velocidade de execução do LLM no H100, mas também oferece alguns ganhos de desempenho em aceleradores mais antigos.
É bem possível que o mensageiro Telegram, que atua simultaneamente como rede social, serviço de…
Em agosto deste ano, a China enviou ao espaço os primeiros satélites de telecomunicações Qianfan…
A Fujitsu e a Supermicro anunciaram uma colaboração estratégica para desenvolver servidores de próxima geração…
O Supremo Tribunal Federal do Brasil disse que a rede social X transferiu o dinheiro…
O Google está lançando um conjunto de novos recursos, anunciados em maio, para proteger os…
A empresa taiwanesa Foxconn superou as expectativas dos analistas ao registrar receita recorde no terceiro…