A startup Majestic Labs anunciou um novo tipo de servidor, o Prometheus, projetado para solucionar o problema da “gargalo de memória” em sistemas de IA modernos que operam com modelos com um número enorme de parâmetros. A empresa afirma que o Prometheus oferece desempenho comparável a vários racks de servidores tradicionais, reduzindo o consumo de energia e o custo total de propriedade.
A Majestic Labs saiu do modo stealth em novembro passado. A startup observa que os sistemas de IA modernos estão enfrentando uma lacuna entre a capacidade e o desempenho da memória e a capacidade de processamento dos aceleradores. A Majestic Labs propõe solucionar esse problema implementando uma nova arquitetura que desacopla os recursos de memória e computação. Isso envolve o uso de aceleradores de IA especializados e unidades de memória de alta velocidade, com capacidade de até 128 TB em um único servidor.
Fonte da imagem: Majestic Labs
O Prometheus utiliza Unidades de Processamento de IA (AIUs) proprietárias chamadas Ignite. Elas combinam núcleos de CPU baseados em Arm com mecanismos vetoriais e tensores RISC-V, utilizando um único espaço de memória. O suporte para frameworks populares como PyTorch, vLLM e OpenAI Triton também foi anunciado, permitindo que cargas de trabalho existentes sejam executadas sem alterações no código.
De acordo com a Majestic Labs, a plataforma Prometheus é capaz de lidar com modelos de IA com enormes janelas de contexto e trilhões de parâmetros, eliminando a fragmentação e os gargalos inerentes aos servidores de IA tradicionais. As áreas de aplicação incluem sistemas especialistas mistos, agentes de IA, redes neurais gráficas e muito mais.
Se você notar um erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever um melhor? Ficaremos felizes em receber sua sugestão.
Fonte: