A Nvidia disse que aumentou ainda mais o desempenho de IA de suas placas gráficas GeForce RTX e plataformas RTX AI PC com o lançamento do driver GeForce Game Ready 555.85 WHQL mais recente. Durante o Microsoft Build, a Nvidia anunciou uma série de novas otimizações de desempenho para algoritmos de IA que agora estão disponíveis em todo o ecossistema RTX, incluindo GPUs GeForce RTX, estações de trabalho e PCs.
Fonte da imagem: NVIDIA
A Nvidia observa que as otimizações mais recentes visam acelerar o desempenho de uma série de grandes modelos de linguagem (LLMs) usados pela IA generativa. A nova versão 555 do driver Nvidia fornece às placas gráficas GeForce RTX e plataformas RTX AI PC um aumento de três vezes no desempenho de IA ao trabalhar com estruturas ONNX Runtime (ORT) e DirectML. Ambas as ferramentas são usadas para executar modelos de IA no ambiente do sistema operacional Windows.
Além disso, o novo driver melhora o desempenho da API WebNN para DirectML, que é usada por desenvolvedores web para hospedar novos modelos de IA. A Nvidia afirma que está trabalhando com a Microsoft para melhorar ainda mais o desempenho das GPUs RTX e adicionar suporte DirectML ao PyTorch. Abaixo está a lista completa de recursos oferecidos pelo driver Nvidia R555 mais recente para GPUs GeForce RTX e PCs RTX:
- Suporte para metacomando DQ-GEMM para lidar com quantização INT4 somente de peso para LLM;
- Novos métodos de normalização RMSNorm para os modelos Llama 2, Llama 3, Mistral e Phi-3;
- Mecanismos de atenção de grupo, multiconsulta e janela deslizante para oferecer suporte ao Mistral;
- Atualizações KV para melhorar a atenção;
- Suporte para tensores GEMM não divisíveis por 8 para melhorar o desempenho da fase de contexto.
Em testes de benchmark do ORT, a extensão generativa de inteligência artificial da Microsoft, o novo driver da Nvidia resulta em ganhos de desempenho gerais para os tipos de dados INT4 e FP16. Com as técnicas de otimização adicionadas nesta atualização, o desempenho dos grandes modelos de linguagem Phi-3, Llama 3, Gemma e Mistral aumenta em até três vezes.
A Nvidia lembra ainda que a vantagem do ecossistema RTX é o aproveitamento das capacidades dos Tensor Cores de renderização. Eles são baseados em Super Resolução DLSS, Nvidia Ace, RTX Remix, Omniverse, Broadcast, RTX Video e outras tecnologias. Além disso, a empresa oferece kits de desenvolvimento TensorRT, Maxine e RTX Video para usar Tensor Cores na aceleração de IA.
Em seu comunicado à imprensa, a Nvidia afirma que suas GPUs oferecem desempenho de IA de até 1.300 TOPS (trilhões de operações por segundo), o que é muito maior do que qualquer outra solução competitiva.