A SambaNova apresentou seus aceleradores de IA SN50 de quinta geração, baseados em sua RDU (Unidade de Fluxo de Dados Reconfigurável) proprietária, que, segundo a empresa, “oferece uma combinação incomparável de latência ultrabaixa, alta taxa de transferência e desempenho com baixo consumo de energia para cargas de trabalho de inferência de IA, mudando fundamentalmente a economia da geração de tokens”. Além disso, anunciou um investimento e uma parceria com a Intel, que posteriormente desistiu da aquisição da SambaNova.
Como observado pelo The Register, o novo chip representa uma melhoria significativa em relação ao SN40L de 2023. De acordo com a empresa, o SN50 oferece desempenho 2,5 vezes maior em 16 bits (1,6 petaflops) e desempenho 5 vezes maior em FP8 (3,2 petaflops). O SN50 é baseado na arquitetura de processamento de fluxo DataFlow da SambaNova. Assim como seu antecessor, o SN50 utiliza uma hierarquia de memória de três níveis que combina DDR5, HBM e SRAM, permitindo que plataformas baseadas no novo produto suportem modelos de IA com 10 trilhões de parâmetros e um comprimento de contexto de até 10 milhões de tokens.
Fonte da imagem: SambaNova
Cada RDU é equipada com 432 MB de SRAM, 64 GB de HBM2E com largura de banda de 1,8 TB/s e de 256 GB a 2 TB de memória DDR5. A disponibilidade de HBM2E e memória DDR5 configurável aumentará a atratividade e a acessibilidade do SN50 em meio à escassez de memória. Cada acelerador possui uma interconexão de 2,2 TB/s (em cada direção) para comunicação com outros chips por meio de um switch de malha.
De acordo com a SambaNova, em comparação com o acelerador NVIDIA B200, o SN50 oferece uma taxa máxima de geração de tokens por usuário 5 vezes maior e mais de 3 vezes a taxa de transferência de inferência de agentes, conforme demonstrado em diversos modelos, como o Meta✴Llama 3.3 70B. A arquitetura permite o descarregamento eficiente do cache KV e a troca a quente entre os modelos HBM e SRAM em milissegundos, o que é fundamental para cargas de trabalho baseadas em agentes que alternam frequentemente entre vários modelos de IA.
O SN50 também permite que os tokens de entrada sejam armazenados em cache na memória, reduzindo o tempo de pré-processamento e o tempo até o primeiro token (TTFT) para consultas. Essa combinação de desempenho, eficiência e escalabilidade oferece uma vantagem de custo total de propriedade (TCO), segundo a empresa, incomparável no mercado para provedores de serviços de inferência que utilizam modelos como o OpenAI GPT-OSS, com uma economia de oito vezes em comparação com o NVIDIA B200. O SN50 também é voltado para aplicações como assistentes de voz com inteligência artificial, que exigem latência ultrabaixa para operação em tempo real. A empresa afirma que ele pode suportar milhares de sessões simultâneas.
Um sistema SambaRack SN50 de 20 kW, que integra 16 chips SN50, também foi apresentado. Os SambaRacks podem ser escalados para um cluster de até 256 aceleradores com taxa de transferência de interconexão de vários terabytes por segundo, reduzindo o tempo de processamento de consultas e suportando pacotes de tamanho grande. Como resultado, modelos com maior taxa de transferência e desempenho podem ser implementados. As entregas do SN50 aos clientes começarão no segundo semestre de 2026.
A SambaNova anunciou anteriormente que arrecadou mais de US$ 350 milhões em uma rodada de financiamento Série E com excesso de demanda, liderada pela empresa de private equity Vista Equity Partners em parceria com a Cambium Capital. A Intel Capital, braço de investimentos da Intel, também “participou ativamente”, conforme relatado pelo SiliconANGLE. A SambaNova também anunciou uma colaboração com a Intel para desenvolver novos sistemas de alto desempenho e custo-benefício para executar cargas de trabalho de IA. O objetivo é fornecer às empresas uma alternativa às GPUs, atualmente utilizadas para a maioria das cargas de trabalho.
A Intel está investindo na startup para acelerar a implementação de uma nova “solução de IA em nuvem” baseada na plataforma SambaNova Cloud existente. A plataforma atualizada, otimizada para LLM multimodal, contará com processadores Xeon, além de GPUs, redes e outras soluções da Intel, incluindo armazenamento. Não foi especificado se isso envolve a criação de modelos Xeon especializados, como ocorreu com a NVIDIA. No futuro, a Intel e a SambaNova planejam promover e vender conjuntamente a nova plataforma, aproveitando os relacionamentos existentes da Intel com empresas e seus canais de parceiros.
A parceria beneficia ambas as empresas. A SambaNova poderá aproveitar o alcance global e a base de produção da Intel para escalar seus aceleradores de IA, enquanto a Intel finalmente terá a chance de se consolidar no mercado de IA. Até agora, a Intel não conseguiu competir com a NVIDIA e outros fabricantes de chips como a AMD em IA. Os chips SN50 da SambaNova, combinados com os processadores Intel Xeon, podem potencialmente mudar esse cenário.
Vale ressaltar que a Intel, que também não está em boa fase, possui um acordo significativo com a NVIDIA. A empresa também oferece suas próprias GPUs de inferência, embora significativamente mais simples que o SN50, e até mesmo híbridos inusitados dos aceleradores Habana Gaudí 3 e NVIDIA B200. Por fim, há um acordo com a AWS para produzir processadores Xeon 6 personalizados e alguns aceleradores de IA. Quanto aos antigos “colegas” da SambaNova na luta contra a NVIDIA, a Groq acabou sendo adquirida por esta última, enquanto a Cerebras finalmente fechou um acordo significativo com um dos principais players do mercado de IA, a OpenAI.
Se encontrar algum erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever uma versão melhor? Ficaremos felizes em receber sua sugestão.
Fonte: