Cerebras constrói supercomputador Andromeda AI com 13,5 milhões de núcleos

A Cerebras Systems anunciou o lançamento de um sistema de computação Andromeda exclusivo para executar cargas de trabalho de IA “pesadas”. O Andromeda é baseado em um cluster de 16 unidades Cerebras CS-2 conectadas a uma malha de 96,8 Tbps. Cada um deles contém um chip WSE-2 com 850.000 núcleos. Assim, o número total de núcleos chega a 13,5 milhões, além disso, cada chip inclui diretamente 40 GB de memória ultrarrápida. O sistema já está disponível para clientes comerciais, bem como para várias organizações científicas.

Fonte da imagem: Cerebras Sistemas

O supercomputador também usa 284 servidores de soquete único com processadores AMD EPYC 7713. O número total de núcleos de computação de uso geral é 18.176. Cada um desses servidores carrega 128 GB de RAM, uma unidade NVMe de 1,92 TB e duas placas de rede de 100 GbE. Esses nós são responsáveis ​​pelo pré-processamento das informações.

Fonte: Cerebras Sistemas

Segundo a Cerebras, o desempenho do sistema supera 1 Eflops por chamado. computação esparsa e atinge 120 Pflops com computação FP16 regular. Este é o primeiro supercomputador do mundo que fornece escala linear quase perfeita ao trabalhar com modelos GPT, em particular, GPT-3, GPT-J e GPT-NeoX. Em outras palavras, para cada duplicação do número de complexos CS-2, o tempo de treinamento do modelo cai quase pela metade.

O supercomputador está instalado no centro de dados Colovore em Santa Clara (Califórnia, EUA). O sistema custou aproximadamente US$ 30 milhões e levou apenas três dias para ser implantado. Vários clientes podem usar os recursos do Andromeda ao mesmo tempo.