A Liqid coopera com a Dell há bastante tempo – no ano passado conseguiu a colocação de 16 aceleradores em sua plataforma UltraStack L40S. Mas a empresa não parou por aí e introduziu uma nova plataforma composta, UltraStack 30, na qual foi capaz de aumentar para 30 o número de aceleradores disponíveis simultaneamente para o sistema host.
Para conectar, configurar e gerenciar recursos do acelerador, o Liqid usa uma combinação de software proprietário Matrix CDI e interconexão Liqid Fabric. Este último é baseado em PCI Express. Isso permite configurar dinamicamente a infraestrutura de hardware, levando em consideração tarefas específicas, com seu retorno ao pool geral de recursos após a conclusão do trabalho.
As “cápsulas” com os próprios recursos são conectadas a um único servidor host, o que simplifica a tarefa de escalonamento, minimiza perdas de desempenho, aumenta a eficiência energética e permite o empacotamento mais denso de recursos computacionais do que é possível na versão clássica com servidores separados. E graças à flexibilidade de configuração literalmente “on the fly”, o tempo de inatividade de recursos de hardware muito caros é eliminado.
Fonte aqui e abaixo: Liqid
No caso do UltraStack 30, a base padrão é um servidor Dell PowerEdge série R760 com dois Xeon Gold 6430 e 1 TB de RAM, mas também está disponível uma opção baseada no Dell R7625, equipado com processadores AMD EPYC 9354. pode ser opcionalmente equipado com 30 TB de armazenamento NVMe, um par de adaptadores NVIDIA ConnectX-7 ou um DPU NVIDIA Bluefield-3 estão disponíveis como opções de rede.
Um switch PCI Express 4.0 de 48 portas acoplado a adaptadores host Liqid proprietários é responsável pela comunicação com módulos de aceleração. A tecnologia ioDirect permite que os aceleradores se comuniquem entre si e com o armazenamento de dados diretamente, sem a mediação da CPU. Três módulos de expansão contêm 10 aceleradores NVIDIA L40S, cada um carregando 48 GB de memória GDDR6. Esta configuração é teoricamente capaz de atingir 7,3 Pflops em cálculos FP16, o dobro em FP8 e quase 1,1 Pflops em núcleos tensores no formato TF32.
A plataforma UltraStack 30 destina-se principalmente à implantação rápida de uma infraestrutura de IA bastante poderosa, onde são necessários ajustes finos e treinamento adicional de grandes modelos já “treinados”. Ao mesmo tempo, vale a pena levar em conta um consumo de energia bastante significativo, superior a 11 kW.
A empresa também possui soluções SmartStack baseadas em sistemas modulares Dell PowerEdge Série C, que permitem conectar até 20 aceleradores a cada um dos módulos blade MX760c, MX750c e MX740c. As soluções modulares da Liqid também suportam aceleradores de outros fabricantes, incluindo alguns bastante exóticos como o Groq.