A NVIDIA Corporation e a empresa francesa Mistral AI anunciaram o modelo de linguagem grande (LLM) Mistral NeMo 12B, especialmente projetado para resolver várias tarefas de nível empresarial – chatbots, resumo de dados, trabalho com código de programa, etc.
Mistral NeMo 12B possui 12 bilhões de parâmetros e usa uma janela de contexto de 128 mil tokens. A inferência usa o formato de dados FP8, que reduz os requisitos de memória e acelera a implantação sem qualquer redução na precisão da resposta.
Imagem Fonte: Pixabay.com
No treinamento do modelo foi utilizada a biblioteca Megatron-LM, que faz parte da plataforma NVIDIA NeMo. Neste caso, foram utilizados 3.072 aceleradores NVIDIA H100 baseados em DGX Cloud. Alega-se que o Mistral NeMo 12B lida bem com diálogos multipassados, problemas matemáticos, programação, etc. O modelo tem “senso comum” e “conhecimento de mundo”. No geral, ele relata desempenho preciso e confiável em uma ampla gama de aplicações.
O modelo é lançado sob a licença Apache 2.0 e é oferecido como um contêiner NIM. A implementação do LLM, segundo os idealizadores, leva questão de minutos, não de dias. Para rodar o modelo, basta um acelerador NVIDIA L40S, GeForce RTX 4090 ou RTX 4500. Entre as principais vantagens da implantação via NIM estão alta eficiência, baixo custo computacional, segurança e privacidade.
A ASUS lançou as vendas do novo console de jogos portátil ROG Ally X, que…
A Philips continua a expandir sua linha de monitores de jogos Evnia e lançou o…
O renascimento de personagens mortos é algo comum em jogos de luta, e quem, exceto…
Usuários com dificuldades de fala, por exemplo, gagueira, paralisia cerebral, consequências de acidente vascular cerebral…
Cientistas coreanos desenvolveram a tecnologia NTS para a produção de telas OLED transparentes de grande…
O Blogger Proxy Gate Tactician com 1400 horas em Baldur's Gate 3 decidiu verificar quais…