A Cerebras Systems, em colaboração com o Departamento de Energia dos EUA (DOE) Sandia National Laboratories (SNL), conduziu um experimento bem-sucedido para treinar um modelo de IA com 1 trilhão de parâmetros usando um único sistema CS-3 com um acelerador czar WSE-3 e 55 TB de memória externa MemoryX.
Modelos de treinamento dessa escala normalmente requerem milhares de aceleradores baseados em GPU que consomem megawatts de energia, dezenas de especialistas e semanas de ajustes de hardware e software, diz Cerebras. No entanto, os cientistas do SNL conseguiram treinar o modelo em um único sistema sem fazer alterações no modelo ou no software de infraestrutura. Além disso, eles conseguiram atingir uma escala quase linear – 16 sistemas CS-3 mostraram um aumento de 15,3 vezes na velocidade de aprendizagem.
Fonte da imagem: Cerebras
Um modelo desta escala requer terabytes de memória, milhares de vezes mais do que está disponível em uma única GPU. Em outras palavras, clusters clássicos de milhares de aceleradores devem estar corretamente conectados entre si antes do início do treinamento. Os sistemas Cerebras para armazenamento de balanças usam memória MemoryX externa baseada em nós de 1U com o DDR5 mais comum, tornando tão fácil treinar um modelo com um trilhão de parâmetros quanto um modelo pequeno em um único acelerador, diz a empresa.
Anteriormente, o SNL e a Cerebras implantaram o cluster Kingfisher baseado em sistemas CS-3, que será utilizado como plataforma de teste para o desenvolvimento de tecnologias de IA para garantir a segurança nacional.