A Penguin Solutions anunciou o MemoryAI KV Cache Server, projetado para solucionar o problema de gargalo de memória em infraestruturas modernas destinadas a cargas de trabalho de inferência de IA com uso intensivo de recursos. O dispositivo oferece até 11 TB de memória CXL, permitindo a utilização máxima da capacidade computacional disponível.
O servidor (modelo Altus XE4318GT-KVC) possui formato 4U. Ele conta com dois processadores AMD EPYC 9005 Turin em Socket SP5 (LGA 6096) com TDP de até 500 W. Inclui também um controlador ASpeed AST2600 e um adaptador de rede Intel I350-AM2. O dispositivo possui dois conectores SSD M.2 2280/22110 com interface PCIe 3.0, oito slots para placas PCIe 5.0 x16 FHFL, dois slots para placas PCIe 5.0 x16 LP, duas portas de rede 400GbE (RJ45), duas portas USB 3.0 (5 Gbps) e uma interface analógica D-Sub.
O dispositivo suporta até 3 TB de memória DDR5-6400. Ele também inclui oito placas CXL, cada uma com 1 TB de memória. Isso expande as capacidades dos aceleradores de IA com capacidade HBM limitada na infraestrutura. É também compatível com o NVIDIA Dynamo, um ambiente de software projetado, entre outras coisas, para aceleração de inferência. No geral, a Penguin Solutions observa que o novo servidor permite que as empresas maximizem a eficiência dos aceleradores de GPU adicionando grandes pools de memória.
Fonte da imagem: Penguin Solutions
O dispositivo está equipado com quatro fontes de alimentação de 3000 W com certificação 80 Plus Titanium. A faixa de temperatura operacional é de 10 °C a 35 °C. Há compatibilidade com Red Hat Enterprise Linux (RHEL) e Rocky Linux. O sistema vem com garantia de três anos.
Se você notar algum erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever uma versão melhor? Ficaremos felizes em receber seu feedback.
Fonte: