A NVIDIA Corporation e a empresa francesa Mistral AI anunciaram o modelo de linguagem grande (LLM) Mistral NeMo 12B, especialmente projetado para resolver várias tarefas de nível empresarial – chatbots, resumo de dados, trabalho com código de programa, etc.
Mistral NeMo 12B possui 12 bilhões de parâmetros e usa uma janela de contexto de 128 mil tokens. A inferência usa o formato de dados FP8, que reduz os requisitos de memória e acelera a implantação sem qualquer redução na precisão da resposta.
Imagem Fonte: Pixabay.com
No treinamento do modelo foi utilizada a biblioteca Megatron-LM, que faz parte da plataforma NVIDIA NeMo. Neste caso, foram utilizados 3.072 aceleradores NVIDIA H100 baseados em DGX Cloud. Alega-se que o Mistral NeMo 12B lida bem com diálogos multipassados, problemas matemáticos, programação, etc. O modelo tem “senso comum” e “conhecimento de mundo”. No geral, ele relata desempenho preciso e confiável em uma ampla gama de aplicações.
O modelo é lançado sob a licença Apache 2.0 e é oferecido como um contêiner NIM. A implementação do LLM, segundo os idealizadores, leva questão de minutos, não de dias. Para rodar o modelo, basta um acelerador NVIDIA L40S, GeForce RTX 4090 ou RTX 4500. Entre as principais vantagens da implantação via NIM estão alta eficiência, baixo custo computacional, segurança e privacidade.
O thriller policial de mundo aberto Grand Theft Auto VI inspira medo nos concorrentes antes…
A fabricante de aeronaves elétricas Eve, uma subsidiária da Embraer, revelou um protótipo de táxi…
Os desenvolvedores do jogo de luta de anime Guilty Gear Strive do estúdio japonês Arc…
É difícil negar que a empresa americana Nvidia tem um forte desejo de continuar a…
Na semana passada, a dinâmica do mercado de ações foi em grande parte determinada pelas…
Há exatamente um ano, soube-se da intenção da montadora alemã Volkswagen de comprar uma participação…