A HPE lançou um supercomputador local para IA generativa

A HPE anunciou a disponibilidade de um sistema modular de supercomputação para IA generativa. A plataforma, destinada à colocação local na infraestrutura do cliente, é construída em superchips NVIDIA GH200 Grace Hopper.

A HPE anunciou a preparação do sistema em novembro de 2023. É baseado em servidores ProLiant DL380a Gen11. No total, podem ser usados ​​até 168 superchips GH200. Além disso, são utilizadas a plataforma NVIDIA Spectrum-X Ethernet e a DPU NVIDIA BlueField-3.

A solução é complementada pela plataforma de aprendizado de máquina e software de análise HPE, a plataforma NVIDIA AI Enterprise 5.0 para trabalhar com aplicativos de IA, que inclui microsserviços baseados em contêineres de software para download, bem como o serviço NVIDIA NeMo Retriever e outras bibliotecas para processamento de dados e IA. O sistema de supercomputadores destina-se a grandes empresas, institutos de pesquisa e agências governamentais.

Fonte da imagem: HPE

Afirma-se que em uma configuração com 16 nós, o complexo pode otimizar o modelo Llama 2 com 70 bilhões de parâmetros em apenas 6 minutos. O alto desempenho permite que os clientes melhorem a produtividade dos negócios com aplicações generativas de IA, como assistentes virtuais, chatbots inteligentes e ferramentas de pesquisa empresarial. Ao mesmo tempo, o software HPE Machine Learning Inference permitirá que as empresas implantem modelos de machine learning em larga escala com rapidez e segurança.

A HPE também anunciou sua intenção de lançar produtos de próxima geração usando soluções de hardware NVIDIA baseadas na arquitetura Blackwell. Estamos falando dos superchips híbridos GB200, bem como dos produtos HGX B200 e HGXB100. Detalhes sobre os novos sistemas serão revelados posteriormente.