A Micron apresentou hoje o primeiro módulo de memória LPDRAM SOCAMM2 de alto desempenho do mundo, com 256 GB, projetado especificamente para data centers e cargas de trabalho de IA.
Fonte da imagem: micron.com
Este novo tipo de RAM consome três vezes menos energia e apresenta um tamanho de módulo compacto — é construído em cristais monolíticos de 32 Gb. Com uma CPU de 8 canais em um sistema com 2 TB de memória, o desempenho da carga de trabalho de inferência de IA (execução) aumenta em 2,3 vezes na métrica mais importante — tempo até o primeiro token.
O novo módulo de memória da Micron foi projetado para inferência de modelos de linguagem de grande porte e outras cargas de trabalho onde a capacidade de memória, a largura de banda, a eficiência e a latência determinam o desempenho e a escalabilidade. O formato SOCAMM2 é uma solução ideal, com módulos mais compactos e menor consumo de energia em comparação com os RDIMMs tradicionais. A Micron desenvolveu este componente em parceria com a Nvidia. Em cargas de trabalho de IA, a memória de vídeo na GPU é crucial, mas com caches KV de grande porte, parte dessa memória pode ser transferida para a memória compartilhada do sistema, mais barata, se esta for suficientemente rápida — uma capacidade oferecida pela LPDRAM SOCAMM2 da Micron.