O Twitter encontrou um cluster abandonado do outrora escasso NVIDIA V100

O desenvolvedor Tim Zaman, que trabalhou no Twitter durante a venda da rede social para Elon Musk, e agora mudou para o Google DeepMind, falou sobre uma descoberta incomum, relata Tom’s Hardware. Segundo ele, poucas semanas após o acordo, especialistas descobriram um cluster de 700 aceleradores NVIDIA V100 ociosos. O próprio Zaman descreveu a descoberta como “uma tentativa honesta de construir um cluster dentro da estrutura do Twitter 1.0”. Zaman se lembrou deste evento com a notícia do supercomputador xAI AI composto por 100 mil aceleradores NVIDIA H100.

A descoberta me deixa triste porque durante anos o Twitter teve à sua disposição 700 aceleradores de alto desempenho baseados na arquitetura NVIDIA Volta, que estavam ligados, mas ociosos. Eles estavam em falta no momento do lançamento em 2017, e Zaman só descobriu o aglomerado inativo em 2022. Não é de surpreender que na mesma época tenha sido decidido fechar alguns data centers da rede social. Vale ressaltar que o cluster utilizou placas PCIe, e não a versão SXM2 do V100 com NVLink, que são muito mais eficientes em tarefas de IA.

Fonte da imagem: Alexander Shatov/unsplash.com

Zaman também compartilhou suas idéias sobre o “AI Gigafactory”. Ele sugeriu que o uso de 100 mil aceleradores em uma estrutura de rede deveria ser um desafio épico, uma vez que em tal escala as falhas são inevitáveis, que devem ser gerenciadas adequadamente para manter a funcionalidade de todo o sistema. Na sua opinião, o sistema deveria ser dividido em domínios independentes (grandes clusters são concebidos desta forma). Zaman também se perguntou qual poderia ser o número máximo de aceleradores dentro de um único cluster. À medida que as empresas constroem sistemas de treinamento em IA cada vez maiores, haverá limites previsíveis e inesperados para quantos aceleradores podem ser combinados.