A SambaNova Systems, uma startup de IA fundada em 2017 por ex-alunos da Sun, Oracle e Stanford, anunciou o sistema de implantação DeepSeek-R1 671B mais rápido do mundo. Para equipamentos Nvidia, tais indicadores não estão disponíveis.
Fonte da imagem: sambanova.ai
O SambaNova atingiu o desempenho DeepSeek-R1 de 198 tokens por segundo em apenas 16 aceleradores personalizados, um feito que exigiria a implantação de 40 racks de 320 GPUs Nvidia. “O SambaNova em chips SN40L RDU se tornou a plataforma mais rápida para executar o DeepSeek. “Este é um aumento de cinco vezes na velocidade da GPU mais recente em um único rack e, até o final do ano, ofereceremos 100 vezes a capacidade do DeepSeek-R1”, prometeu o cofundador e CEO da SambaNova, Rodrigo Liang.
Cargas de trabalho de IA que exigem muitos recursos tradicionalmente são alimentadas por GPUs Nvidia, mas a SambaNova diz que sua arquitetura de fluxo de dados configurável é uma solução mais eficiente. Seu hardware roda três vezes mais rápido e consome cinco vezes menos energia do que as GPUs modernas mais potentes, mantendo todo o poder de computação do modelo DeepSeek-R1. A conquista foi confirmada por especialistas da Artificial Analysis, empresa que realiza avaliações independentes de sistemas de IA.
O modelo DeepSeek-R1 671B de código aberto está disponível na nuvem SambaNova via API. A empresa está aumentando ativamente sua capacidade e espera atingir uma taxa de transferência total de 20.000 tokens por segundo em um futuro próximo.