A startup britânica de IA, Lumai, anunciou a família Lumai Iris de servidores de inferência baseados em computação óptica, projetados para a execução em tempo real de grandes modelos de linguagem (LLMs) com bilhões de parâmetros. A família Lumai Iris inclui os servidores Nova, Aura e Tetra. O Lumai Iris Nova já está disponível para avaliação por hiperescaladores, plataformas de nuvem digital, empresas e institutos de pesquisa.
A Lumai afirma que o Lumai Iris acelera as cargas de trabalho de inferência usando luz em vez de processamento de silício. O sistema de computação óptica da Lumai oferece inferência mais rápida, maior eficiência de execução e consumo de energia até 90% menor em comparação com arquiteturas tradicionais, além de ser mais ecológico do que os sistemas tradicionais baseados em GPUs. No entanto, os detalhes técnicos dos aceleradores de IA óptica ainda não foram divulgados.
Fonte da imagem: Lumai
A empresa observou que a demanda por computação de IA está migrando do treinamento de modelos para a inferência em larga escala, onde os modelos são usados em aplicações do mundo real. À medida que as cargas de trabalho computacionais crescem, os data centers enfrentam severas restrições de energia e escalabilidade que as arquiteturas de silício tradicionais têm dificuldade em solucionar. A empresa afirmou que a família Iris foi projetada para lidar com o consumo de energia e o custo da infraestrutura de IA, melhorando o desempenho por quilowatt.
As arquiteturas de silício tradicionais enfrentam limitações físicas fundamentais em termos de escalabilidade, consumo de energia e eficiência térmica. Cada nova geração de chips de silício oferece pequenas melhorias, mas requer significativamente mais energia e recursos para escalar. “À medida que o setor avança para a era da inferência, estamos simultaneamente cruzando o limiar da era pós-silício”, disse Xianxin Guo, CEO e cofundador da Lumai. “Ao migrar do paradigma da computação fotônica eletrônica para o fotônico, a Lumai pode oferecer um aumento de desempenho de uma ordem de magnitude com economia significativa de energia.”
A Lumai observou que a computação óptica possibilita melhorias significativas na eficiência das cargas de trabalho de IA. A tecnologia de computação óptica da Lumai, baseada em pesquisas da Universidade de Oxford, utiliza a luz em um ambiente 3D, enquanto os chips convencionais operam em 2D. Ao aproveitar o paralelismo espacial massivo, milhões de operações são executadas simultaneamente, proporcionando baixo custo e alta taxa de transferência para tarefas computacionalmente intensivas.
A tecnologia da Lumai também demonstrou sua eficácia na pré-população de arquiteturas de inferência desagregadas, processando tokens com máxima eficiência e escalabilidade. O Iris Nova realiza inferência em tempo real nos modelos Llama 8B e 70B usando um processador híbrido. Sua arquitetura híbrida combina processamento digital para gerenciamento de sistema e software com um mecanismo de tensor óptico para operações matemáticas essenciais. Essa abordagem permite a integração perfeita do servidor em data centers.
Se você notar um erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você pode melhorar? Ficaremos felizes em receber seu feedback.
Fonte: