Os engenheiros da Apple falaram sobre sua colaboração com a Nvidia, graças à qual conseguiram melhorar o desempenho dos sistemas na geração de texto a partir de grandes modelos de linguagem de inteligência artificial.
Fonte da imagem: desenvolvedor.nvidia.com
Este ano, a Apple publicou o código-fonte de seu Recurrent Drafter (ReDrafter), um novo método para gerar texto usando grandes modelos de linguagem. Caracteriza-se pela alta velocidade, combinando duas tecnologias: busca por feixe e árvore de atenção dinâmica. O projeto de pesquisa da Apple mostrou resultados convincentes, mas a implantação do ReDrafter integrou a tecnologia ao sistema TensorRT-LLM da Nvidia, uma ferramenta que permite que grandes modelos de linguagem sejam executados mais rapidamente em aceleradores Nvidia.
As medições de desempenho mostraram que ao executar grandes modelos de linguagem com dezenas de bilhões de parâmetros usando a estrutura Nvidia TensorRT-LLM e ReDrafter, a velocidade de geração de token aumentou 2,7 vezes. Assim, a tecnologia permite reduzir o atraso entre o usuário inserir uma solicitação e receber uma resposta do modelo – ao mesmo tempo em que utiliza menos aceleradores e reduz o consumo de energia, concluíram os engenheiros da Apple.
«Grandes modelos de linguagem são cada vez mais usados em aplicativos, e melhorar a eficiência da inferência pode impactar os custos computacionais e reduzir a latência para os usuários. Com a nova abordagem do ReDrafter para execução especulativa integrada à estrutura Nvidia TensorRT-LLM, os desenvolvedores agora podem gerar tokens mais rapidamente em aceleradores Nvidia para seus aplicativos”, acrescentou Apple.