2 TB de RAM para IA: Samsung, MemVerge, H3 e XConn criam um pool de memória CXL compacto

No Flash Memory Summit, uma aliança entre Samsung, MemVerge, H3 Platform e XConn Technologies mostrou os primeiros frutos de sua colaboração. Este é um novo pool de memória CXL de 2 TB que é a resposta para uma série de problemas que as plataformas AI de grande escala enfrentam hoje. Os hosts conectados ao pool podem ser alocados dinamicamente na quantidade necessária de RAM.

Existem muitos desses problemas associados à ligação muito próxima da DRAM diretamente aos processadores ou aceleradores: perda de desempenho quando os dados são forçados a serem despejados em unidades lentas, movimentação excessiva de dados da memória e vice-versa, aumento da carga no subsistema de armazenamento de dados e falta de memória. E os sistemas modernos de IA precisam cada vez mais de memória, mas a arquitetura muito “centrada no processador” impede o aumento de sua capacidade.

Fonte da imagem: Mem Verge See More

Muitos veem uma saída aqui na rejeição do conceito tradicional e na transição para uma infraestrutura composta que usa os recursos do CXL no campo de organização de pools de memória remotos e facilmente expansíveis, se necessário. O sistema de memória CXL em pool de 2 TB, demonstrado pela comunidade das empresas mencionadas acima, é um desses pools.

Fonte da imagem: Samsung

É baseado em módulos Samsung CXL com capacidade de 256 GB com interface PCIe 5.0, com taxa de transferência máxima de até 35 GB / s. Os switches XConn Technologies XC50256 (Apollo) foram usados ​​como um link. Esses chips têm 256 pistas PCIe 5.0/CXL 2.0 agrupadas em 32 portas e podem fornecer velocidades de comutação de até 2.048 GB/s com latência mínima. De acordo com a XConn, os novos ASICs são superiores em todos os aspectos às soluções similares baseadas em FPGA da geração anterior.

Fonte da imagem: XConn Technologies

A plataforma H3 desenvolveu um chassi 2U compacto e de alta densidade. Ela também é responsável pelo software de gerenciamento H3 Fabric Manager, que permite a distribuição conveniente de recursos CXL. Por fim, MemVerge é responsável pelo software que implementa a função “memória infinita” – Memory Machine X. Este complexo, responsável pela virtualização de arrays de memória, suporta dimensionamento flexível, camadas, alocação dinâmica de memória para aplicativos e muito mais , incluindo o serviço Memory Viewer, que permite observar a topologia e o carregamento do sistema em tempo real.