8 Zflops e centenas de PB de DRAM para IA: Tachyum prometeu construir um supercomputador sem precedentes em chips Prodigy, que ninguém viu ainda

A Tachyum, que afirma ter desenvolvido um novo tipo de processador universal que combina as propriedades de CPU, GPU e TPU, anunciou o primeiro grande pedido para o fornecimento desses chips, conhecido como Prodigy. Os processadores serão usados ​​para criar um sistema HPC/AI com desempenho de mais de 50 Eflops (precisão não especificada), e 8 Zflops são prometidos para tarefas de IA.

Graças às características do Prodigy, o novo sistema será 25 vezes mais rápido que os supercomputadores modernos mais rápidos que entraram em operação este ano, e no campo da IA ​​poderá utilizar modelos 25 mil vezes mais complexos que o ChatGPT4. Um aumento tão significativo na produtividade, segundo os desenvolvedores, promete avanços em muitos campos científicos e técnicos. Os detalhes do contrato, infelizmente, não são divulgados. Sabe-se apenas que a empresa cliente está localizada nos EUA.

Fonte das imagens aqui e abaixo: Tachyum

Conforme afirmado no comunicado de imprensa oficial da Tachyum, o cérebro humano consiste em aproximadamente 100 bilhões de neurônios e 200 trilhões de conexões sinápticas entre eles. Se considerarmos que uma dessas conexões tem alguns bytes, uma simulação cerebral completa exigiria 100 terabytes de memória. A empresa fala de um sistema com centenas de petabytes de DRAM, que certamente superará as capacidades do cérebro.

O início das obras do novo supercomputador está previsto para 2024, a máquina deverá estar operacional em 2025. Aqui estão algumas de suas características técnicas:

• 8 Zflops ao treinar modelos de linguagem grandes (LLM);
• 16 Zflops para processamento de vídeo e imagem;
• Capacidade de acomodar mais de 100 mil modelos PALM2 (530 bilhões de parâmetros) ou 25 mil modelos ChatGPT4 (1,7 trilhão de parâmetros);
• Subsistema de memória atualizável com capacidade de centenas de petabytes e armazenamento flash com capacidade de cerca de um exabyte;
• Nós refrigerados a água de soquete quádruplo com interconexão de 400G (RoCE) e atualizáveis ​​para 800G.

A parte do software envolve o uso de um novo tipo de dados Tachyum AI (TAI), que promete excelente eficiência especificamente em processamento de vídeo e LLM. E a natureza universal do processador Prodigy deve tornar o data center nele baseado mais simples e exigir equipamentos menos variados, o que deverá ter um impacto positivo tanto no custo de construção quanto nos custos operacionais.

Lembremos que há pouco tempo Tachyum anunciou mudanças nas características do Prodigy: o número de núcleos foi aumentado de 128 para 192, e o tamanho do cache aumentou de 128 para 192 MB. As capacidades de comunicação do chip também foram ampliadas: o número de transceptores SerDes cresceu de 64 para 96. A área do cristal ao usar uma tecnologia de processo de 5 nm deve ser de 600 mm2.

No entanto, há um “mas” significativo: apesar dos impressionantes números de desempenho e das afirmações de Tachyum, os processadores Prodigy existem apenas no papel e como uma plataforma emulada por FPGA com um pequeno número de núcleos. Parece haver problemas com a sua implementação em silício. Só podemos esperar que sejam resolvidos com sucesso: a demonstração das primeiras amostras do Prodigy ainda está prevista para 2023.