A Nvidia anunciou detalhes de sua nova família de modelos Nemotron 3 de escala aberta, projetada, em parte, para viabilizar a próxima geração de IA especializada baseada em agentes.
Fonte da imagem: Nvidia
O primeiro membro da família é o Nemotron 3 Nano 30B, um modelo com pesos abertos, 30 bilhões de parâmetros totais e 3 bilhões de parâmetros ativos. O modelo é baseado na arquitetura híbrida Mamba-Transformer, que combina uma mistura de especialistas (MoE), aprendizado por reforço (RL) em ambientes interativos e uma janela de contexto personalizada de 1 milhão de tokens, permitindo raciocínio de alto desempenho e longo prazo para aplicações multiagentes.
De acordo com o VideoCardz, citando uma publicação da Hugging Face, o roteador ativa 6 dos 128 especialistas em uma única passagem. A Nvidia afirmou que o modelo pode ser executado no sistema DGX Spark, bem como nos aceleradores H100 e B200.
Entre os novos recursos do Nemotron 3 que atendem diretamente às necessidades de sistemas baseados em agentes estão:
A família Nemotron 3 MoE inclui três modelos:
O Nemotron 3 Nano, com manuais prontos para uso, já está disponível. Os modelos Nemotron 3 Super e Ultra serão lançados posteriormente.