A NeuReality anunciou o chip NR1, desenvolvido especificamente para orquestração de inferência, relata o HPCwire. Ele pode ser combinado com qualquer GPU ou acelerador de IA para aumentar a utilização da GPU para quase 100%, em comparação com a média de 30% a 50% da combinação tradicional de CPU/NIC encontrada em servidores modernos.
O chip NR1 foi projetado para substituir CPUs e NICs tradicionais, que são o gargalo para cargas de trabalho de IA, ao mesmo tempo em que oferece um aumento de seis vezes no poder de computação para permitir o rendimento máximo do acelerador e a inferência de IA em larga escala, afirma o desenvolvedor.
Como a empresa observou, há anos os desenvolvedores vêm evoluindo as GPUs para atender às demandas da IA, tornando-as mais rápidas e potentes. Mas as CPUs tradicionais, projetadas para a era da internet e não para a era da IA, permaneceram praticamente inalteradas, tornando-se um gargalo à medida que os modelos de IA se tornam mais complexos e as cargas de trabalho de IA aumentam de tamanho.
Fonte da imagem: NeuReality
O NR1 inclui todos os principais recursos de CPU necessários para executar cargas de trabalho de IA, processadores dedicados de mídia e dados, um hipervisor de hardware e blocos IP de rede complexos, proporcionando desempenho significativamente superior, menor consumo de energia e maior ROI. Nos testes da própria empresa, executando o mesmo modelo de IA generativa no mesmo acelerador de IA, seu chip NR1 rende 6,5 vezes mais tokens do que um servidor x86 com o mesmo custo e consumo de energia.
Em linha com a tendência atual de separar recursos de armazenamento e computação, a desagregação dos recursos de IA proporciona isolamento otimizado da computação de IA, observou a NeuReality. Essa separação é especialmente importante em data centers e nuvens. Plataformas tradicionais definidas por software, centradas em CPU, enfrentam desafios como alto custo, consumo de energia e gargalos no sistema ao lidar com cargas de trabalho de inferência de IA. A complexidade da infraestrutura moderna e os altos custos frequentemente limitam o uso de recursos completos de inferência, afirmou a NeuReality.
A NR1 concentra-se em descarregar o pipeline de IA de ponta a ponta. O hipervisor de IA de hardware gerencia o processamento do caminho de dados e o agendamento de tarefas, abrangendo mecanismos de pré e pós-processamento, bem como o mecanismo de rede AI-over-Fabric. Isso proporciona a melhor relação custo-benefício e os menores custos operacionais, com baixo consumo de energia, latência mínima e escalabilidade linear, afirma a empresa. Para DevOps e MLOps, a empresa fornece um SDK completo e uma camada de serviço baseada em Kubernetes.
O novo chip será usado para resolver problemas nas áreas de finanças e seguros, saúde e produtos farmacêuticos, serviços governamentais e educação, telecomunicações, varejo e comércio eletrônico, para cargas de IA generativas e de agentes, visão computacional, etc.
O NeuReality NR1 inclui:
- 4 decodificadores de vídeo/JPEG.
- 16 DSPs para áudio/fala.
- 16 DSPs vetoriais de uso geral.
- Mecanismo de rede AI-over-Fabric (TCP/ROCEv2).
- Duas portas 10/25/50/100 GbE com criptografia de tráfego instantânea.
- Suporte para conexões cliente-servidor e servidor-servidor.
- Dois níveis de funções de rede isoladas.