A Intel Corporation, segundo o site Datacenter Dynamics, pretende criar um dos supercomputadores mais poderosos do mundo para trabalhar com IA generativa. Os recursos da plataforma serão utilizados pela Stability AI, empresa que implementa projetos na área relevante.
A plataforma HPC será baseada em processadores Xeon. Além disso, diz-se que serão utilizados aproximadamente 4.000 aceleradores Gaudi2.
Imagem Fonte: Pixabay.com
A Intel divulgou recentemente os resultados dos testes do Gaudi2 no benchmark GPT-J (parte do MLPerf Inference v3.1), baseado em um modelo de linguagem grande (LLM) com 6 bilhões de parâmetros. Segundo estimativas, Gaudi2 pode se tornar uma alternativa à solução NVIDIA H100 no mercado de IA.
No entanto, o H100 ainda supera a concorrência quando se trata de lidar com aplicações de IA. A NVIDIA anunciou anteriormente o software TensorRT-LLM de código aberto projetado especificamente para acelerar a execução de grandes modelos de linguagem (LLMs). A NVIDIA estima que o uso do TensorRT-LLM pode dobrar o desempenho do acelerador H100 no teste GPT-J 6B. Ao utilizar o modelo Llama2, o aumento de desempenho em relação ao A100 chega a 4,6x.
O projeto Intel e Stability AI ajudará as empresas a fortalecer sua posição no mercado de IA generativa. Não há informações sobre o momento do comissionamento do sistema e seu desempenho esperado.