A NVIDIA Corporation e a empresa francesa Mistral AI anunciaram o modelo de linguagem grande (LLM) Mistral NeMo 12B, especialmente projetado para resolver várias tarefas de nível empresarial – chatbots, resumo de dados, trabalho com código de programa, etc.
Mistral NeMo 12B possui 12 bilhões de parâmetros e usa uma janela de contexto de 128 mil tokens. A inferência usa o formato de dados FP8, que reduz os requisitos de memória e acelera a implantação sem qualquer redução na precisão da resposta.
Imagem Fonte: Pixabay.com
No treinamento do modelo foi utilizada a biblioteca Megatron-LM, que faz parte da plataforma NVIDIA NeMo. Neste caso, foram utilizados 3.072 aceleradores NVIDIA H100 baseados em DGX Cloud. Alega-se que o Mistral NeMo 12B lida bem com diálogos multipassados, problemas matemáticos, programação, etc. O modelo tem “senso comum” e “conhecimento de mundo”. No geral, ele relata desempenho preciso e confiável em uma ampla gama de aplicações.
O modelo é lançado sob a licença Apache 2.0 e é oferecido como um contêiner NIM. A implementação do LLM, segundo os idealizadores, leva questão de minutos, não de dias. Para rodar o modelo, basta um acelerador NVIDIA L40S, GeForce RTX 4090 ou RTX 4500. Entre as principais vantagens da implantação via NIM estão alta eficiência, baixo custo computacional, segurança e privacidade.