O Leibniz Supercomputing Center (Leibniz-Rechenzentrum, LRZ), um dos três maiores da Alemanha, anunciou um acordo com a HPE e a Cerebras como parte de uma nova iniciativa Future Computing. O objetivo desta iniciativa é avaliar o uso de tecnologias de computação não padronizadas para acelerar a pesquisa científica na região europeia.
O novo complexo Cerebras CS-2 AI, como você sabe, é muito incomum – seu chip WSE-2 é o maior processador do mundo e, além de 850 mil núcleos, também carrega 40 GB de memória ultrarrápida a bordo . O chip ocupa inteiramente um substrato de silício padrão de 300 mm e consiste em 2,6 trilhões de transistores.
Sistema CS-2 e suas características. Fonte: Cerebras Systems
Não há tanta memória quanto parece à primeira vista, e para tarefas com conjuntos de dados realmente volumosos, o CS-2 deve trabalhar em conjunto com o sistema HPE Superdome Flex, que é capaz de armazená-los e “alimentá-los” ao superprocessador em tempo real.
O próprio CS-2 pode ser visto como uma matriz de aceleradores: todos os núcleos são iguais, cada núcleo é conectado a quatro núcleos vizinhos usando uma interconexão de alta velocidade com uma taxa de transferência total de 220 Pbps. Os caminhos de tráfego são definidos programaticamente no estágio de compilação.
Fonte: Cerebras Systems
Segundo a Cerebras, o CS-2 suporta modelos com dimensões de até 120 trilhões de parâmetros, enquanto os dados originais graças ao MemoryX podem ser armazenados fora do sistema principal sem perda de desempenho. Essa abordagem permite 100 vezes o tamanho do modelo de trabalho em comparação com um único CS-2 sem uma matriz de memória externa.
Quanto ao software, o novo sistema usará estruturas padrão de aprendizado de máquina, como TensorFlow e PyTorch. Ferramentas de desenvolvimento de baixo nível também estão disponíveis, permitindo que você implemente qualquer coisa no CS-2, desde processamento de sinal complexo até simulação usando leis físicas.
A iniciativa do estado da Baviera não se limita ao sistema Cerebras/HPE. O projeto Future Computing também avaliará todas as alternativas modernas existentes à computação clássica de CPU, incluindo GPUs, FPGAs e vários protótipos e amostras de engenharia.