Panmnesia expandirá a memória da GPU com DRAM ou até mesmo SSD

A startup sul-coreana Panmnesia anunciou o desenvolvimento de uma solução CXL especializada que permite expandir a memória interna de aceleradores baseados em GPU conectando unidades DRAM externas ou até mesmo SSDs. Observa-se que os aplicativos modernos de IA e HPC exigem uma quantidade significativa de memória rápida, mas os recursos dos aceleradores nesse sentido são limitados.

A dificuldade de expansão da memória dos aceleradores atuais reside no fato de tais produtos não possuírem estrutura lógica CXL e componentes que suportem DRAM e/ou SSD. Além disso, o cache da GPU e os subsistemas de memória não reconhecem nenhuma extensão. Na melhor das hipóteses, é proposto um mecanismo de memória virtual unificada (UVM) para compartilhar o conteúdo da memória entre a CPU e a GPU. No entanto, este mecanismo é bastante lento.

Fonte da imagem: Panmnésia

Panmnesia contornou as restrições existentes criando seu próprio complexo raiz, compatível com o padrão CXL 3.1 e fornecendo múltiplas portas raiz. Ele fornece suporte para memória externa via PCIe. Neste caso, é utilizado um decodificador HDM (Host-gerenciado Device Memory) especial, responsável por trabalhar com espaços de endereçamento. De certa forma, essa solução complexa “engana” o subsistema de memória do acelerador para tratar a memória PCIe externa como diretamente acessível.

O protótipo, baseado em uma GPU customizada, demonstrou latência inferior a 100 ns ao transferir dados em ambas as direções. Ao mesmo tempo, a solução Panmnesia fornece acesso mais granular à memória em comparação com o UVM. O desempenho do sistema Panmnesia CXL foi 3,22 vezes maior em termos de IPC comparado ao UVM.