Os engenheiros colocaram a HBM de lado – a memória ficou mais rápida, mais fria e mais espaçosa

\nOs engenheiros propuseram uma nova maneira de expandir a memória para aceleradores de IA e GPUs: em vez de empilhar cristais DRAM na “torre” usual, como na HBM, eles são propostos para serem instalados em uma borda, transformando o conjunto de memória em um bloco volumétrico de wafers de silício. Isso resolve imediatamente vários problemas de dimensionamento de memória: aumenta a largura de banda e a capacidade, além de evitar o aumento da dissipação de calor.\n\n

\n\nO posicionamento vertical, mas não empilhado, dos cristais de memória melhorará seu desempenho. Fonte da imagem: Universidade de Tóquio\n\nO problema de aumentar a memória do tipo HBM está se tornando cada vez mais relevante devido ao crescimento de grandes modelos de linguagem: as GPUs modernas já estão cercadas por várias pilhas HBM, mas um aumento adicional no número de camadas em cada pilha ameaça superaquecimento e perda de eficiência. No HBM convencional, as matrizes DRAM são empilhadas umas sobre as outras em uma matriz base e conectadas por meio de interconexões TSV ponta a ponta. Essa estrutura não transfere bem o calor para o dissipador, pois os cristais são separados por uma camada dielétrica de baixa condutividade térmica.\n\nPara resolver o problema de remoção de calor da memória do acelerador, duas opções foram apresentadas no simpósio IEEE VLSI de junho, ambas propondo colocar um cubo HBM convencional em sua borda. Em geral, esta não será mais uma memória HBM, pois não terá um substrato base ao qual todos os cristais estarão conectados. Em vez disso, cada cristal em um conjunto DRAM 3D na borda inferior carregará um grupo de interface e contatos de energia para conexão ao substrato com um acelerador ou processador gráfico.\n\nAlém disso, no conceito de memória V-Die, desenvolvido com a participação das universidades sul-coreanas UNIST e Hanbat National University, canais microfluídicos para circulação de refrigerante também devem ser colocados entre os cristais. Além disso, a eliminação de TSVs bastante grossos libera ainda mais espaço para células de memória, e blocos proprietários de entrada/saída (E/S) em cada matriz eliminam a necessidade de uma matriz base separada. Propõe-se colocar contatos para conexão ao substrato ao longo da borda inferior do cristal em incrementoscerca de 20 mícrons.\n\nCálculos mostram que o V-Die pode fornecer aproximadamente quatro vezes mais conexões que o HBM4 e reduzir o tempo de leitura da memória em 37%. Ao simular um sistema em uma GPU de nível Nvidia H100 com uma carga semelhante a um modelo de linguagem de grande escala GPT-3, a variante V-Die forneceu desempenho de memória de 540 tokens por segundo contra 296 tokens por segundo para HBM4 com a mesma capacidade de memória. A latência para emitir o primeiro token foi reduzida em 32% (em aproximadamente 24 ms), e a temperatura devido ao resfriamento microfluídico foi mantida em torno de 45 °C – visivelmente mais baixa do que os picos típicos da HBM, que podem exceder 80 °C.\n\nNo entanto, a tecnologia V-Die tem sido criticada por especialistas. Segundo eles, é quase impossível garantir tal precisão de fabricação que todos os contatos nas bordas do cubo de memória coincidam com os contatos de solda no substrato do acelerador. No entanto, outro grupo de pesquisadores cuidou desse problema – do Japão.\n\nUm grupo japonês da Universidade de Tóquio, da Universidade Tohoku e da RIKEN propôs uma abordagem para instalar memória “cúbica”, que eles chamaram de MOSAIC (“mosaico”). Os contatos rígidos, em sua opinião, deveriam ser deixados apenas para alimentar o conjunto DRAM, uma vez que são maiores e menos exigentes na precisão do alinhamento, enquanto os dados e sinais de controle são propostos para serem transmitidos do substrato para o “cubo” de memória de forma indutiva sem contato.\n\nEm particular, os pesquisadores propuseram formar bobinas alongadas medindo cerca de 80 × 240 mícrons em cristais de memória e colocar bobinas de resposta no substrato sob ângulo direto. A transferência de dados será realizada através de um campo magnético, de forma que os elementos não precisem corresponder com precisão de mícrons. EMum cubo MOSAIC pode acomodar 98 cristais e obter 294 GB de memória. Ao reduzir a espessura do cristal DRAM para 100 mícrons, os autores estimam o potencial em 294 cristais e 882 GB de memória no mesmo volume, com uma temperatura de pico estimada em cerca de 81,3 °C.\n