O acordo de US$ 20 bilhões que deu à Nvidia acesso aos desenvolvimentos da startup Groq em dezembro teve uma estrutura incomum, mas permitiu que a empresa anunciasse esta semana que os aceleradores Groq 3 LPX já estão em produção em massa e chegarão ao mercado até o final deste ano. Esses chips são especializados em acelerar a inferência em infraestrutura de IA.

Fonte da imagem: Nvidia
Os aceleradores Groq 3 LPX serão incluídos na plataforma Vera Rubin e utilizados para tarefas baseadas em agentes. O primeiro cliente da Nvidia a assinar um contrato para aceleradores Groq foi a Nebius, empresa de Arkady Volozh, fundador da Yandex. Até 256 aceleradores LP30 podem ser combinados em um único rack de servidores, reduzindo a latência no processamento de solicitações em tarefas de IA baseadas em agentes. Os resultados dos testes do Groq 3 LPX no modelo de código aberto Gemma 4 31B, demonstrados pela Artificial Analysis, mostram que o acelerador oferece uma taxa de transferência recorde de 3.400 tokens por segundo com um tamanho de janela de contexto de 100.000 tokens. De acordo com a Nvidia, isso aumenta a capacidade de resposta do sistema em quatro vezes em comparação com soluções concorrentes, reduzindo significativamente o tempo de execução de agentes de IA. Isso se deve, em grande parte, à SRAM de alta velocidade de 500 MB do chip Groq 3 LPX.
Simultaneamente, na conferência Hot Chips, a Nvidia anunciou ter firmado um contrato com a SpaceX para o fornecimento de componentes para a plataforma Vera Rubin. No mínimo, a empresa de Elon Musk utilizará as CPUs Vera para coordenar as operações entre data centers terrestres e espaciais. Os chips Groq 3 LPX da Nvidia são fabricados pela Samsung Electronics, com quem a startup firmou parceria. Os demais produtos da Nvidia são geralmente fabricados pela TSMC, de Taiwan.O fundador da Nvidia, Jensen Huang, afirmou nesta primavera que os aceleradores do tipo Groq conquistariam até um quarto do mercado de data centers no segmento focado no desenvolvimento de software baseado em IA.