Aceleradores de IA receberão terabytes de memória: SanDisk planeja substituir HBM por memória flash HBF ultrarrápida

A SanDisk está pronta para se tornar independente da Western Digital em breve e tem grandes planos para o futuro. Em particular, a empresa pretende desenvolver a tecnologia HBF (High Bandwidth Flash), que fornecerá aos aceleradores de inteligência artificial significativamente mais memória do que a HBM (High Bandwidth Memory) usada hoje.

Fonte da imagem: SanDisk

A ideia pode parecer absurda porque a memória flash NAND é tradicionalmente significativamente mais lenta que a DRAM que sustenta o HBM. O HBF foi projetado para resolver esse problema e se tornar a solução ideal para tarefas relacionadas à execução de modelos já treinados (inferência), em vez de treinar redes neurais. À medida que as gerações de HBM mudam, a capacidade de memória disponível também aumenta: hoje, os aceleradores da AMD e da Nvidia oferecem 192 GB cada. A SanDisk afirma que o HBF ajudará a aumentar esse número em oito ou até 16 vezes a um preço comparável.

A empresa oferece dois cenários em comparação com a configuração tradicional HBM de oito pilhas para um total de 192 GB. A primeira opção são seis chips HBF e dois HBM. Nesse caso, a capacidade total de memória aumenta para 3120 GB ou cerca de 3 TB. O segundo cenário envolve a substituição completa do HBM pelo HBF, o que daria ao acelerador 4.096 GB (4 TB) de memória. Este volume pode acomodar todo o grande modelo de linguagem Frontier com 1,8 trilhão de parâmetros e um tamanho de 3,6 TB. Nos exemplos dados, a capacidade de uma pilha HBM é considerada como 24 GB, e a HBF é 512 GB (mais de 21 vezes maior) porque a memória flash NAND tem uma densidade maior.

No design HBF, os chips de memória flash NAND são empilhados uns sobre os outros e colocados acima do chip lógico. A pilha HBF, assim como a HBM, é instalada no interposer próximo à GPU, CPU ou TPU, dependendo de onde a memória é necessária; a interface exigirá apenas “pequenas alterações de protocolo”. O principal é que o HBF, de acordo com a SanDisk, oferece a mesma taxa de transferência que o HBM.

Na versão tradicional, a NAND realmente se aproxima da DRAM em termos de largura de banda, mas perde muito em termos de tempo de acesso. A SanDisk resolveu esse problema com uma arquitetura NAND especial, dividindo o componente em várias áreas com mais linhas de dados, o que significa acesso mais rápido e maior desempenho.

A arquitetura HBF foi desenvolvida pela empresa no ano passado sob a “influência de grandes players no campo da IA”. Em seguida, será formado um conselho consultivo técnico, que incluirá os parceiros da empresa e os líderes do setor; então um padrão aberto surgirá. Em 2019, cientistas japoneses propuseram o conceito de HBN (High Bandwidth NAND), e é possível que o HBF tenha algo em comum com ele. A SanDisk, por sua vez, já preparou um “roteiro” que descreve as novas gerações desse tipo de memória – tanto a capacidade quanto o desempenho aumentarão.