A Arm afirmou que sua próxima geração de GPUs móveis, com lançamento previsto para 2026, utilizará tecnologias neurais para oferecer maior qualidade de imagem e desempenho aprimorado. A empresa também revelou uma interface de programação de aplicativos (API) para que os desenvolvedores possam começar hoje mesmo, sem esperar por um novo hardware.
Fonte da imagem: braço
A Arm busca principalmente usar a aceleração neural para escalar gráficos para resoluções mais altas sem sacrificar o desempenho. Outros cenários incluem a duplicação das taxas de quadros por meio de interpolação e a melhoria da qualidade da imagem por meio do rastreamento de caminho em tempo real em dispositivos móveis com menos raios por pixel.
«À medida que a IA se integra cada vez mais aos gráficos em tempo real, precisamos de uma IA baseada em GPU que seja integrada, eficiente e, principalmente, com baixo consumo de energia. “Facilitar o desenvolvimento de IA em GPUs para desenvolvedores tem sido a força motriz por trás das inovações técnicas que estamos discutindo aqui”, disse Geraint North, pesquisador em IA e plataformas para desenvolvedores na Arm.
A Arm se recusou a divulgar detalhes técnicos sobre os aceleradores neurais até o anúncio da próxima geração de GPUs Mali. Sabe-se apenas que eles estarão localizados em núcleos de shader, e o desempenho das redes neurais será escalonado dependendo do seu número em uma implementação específica de GPU. A arquitetura Arm de quinta geração permite configurações de até 16 núcleos.
No ano passado, a Arm anunciou o Arm Accuracy Super Resolution (Arm ASR), uma tecnologia de escalonamento que permite que os jogos sejam renderizados em uma resolução mais baixa e apliquem um algoritmo de escalonamento, reduzindo o custo de processamento de um quadro, mantendo a qualidade. A nova tecnologia Neural Super Sampling (NSS), baseada em um acelerador neural de hardware, pode escalonar uma imagem de 540p para 1080p em 4 ms por quadro e reduzir a carga na GPU em 50%.
«”A renderização em tempo real usando IA é mais rápida, nítida e energeticamente eficiente. Isso significa que o NSS pode produzir a mesma qualidade de saída usando entradas de qualidade inferior, ou até mesmo uma qualidade de saída superior usando as mesmas entradas”, disse North.
A Arm também revelou o Neural Frame Rate Upscaling (NFRU) e o Neural Super Sampling and Denoising (NSSD). O NFRU aumenta as taxas de quadros criando um quadro intermediário a partir de dois quadros consecutivos. “A rede neural também está fortemente acoplada ao novo hardware que adicionaremos às nossas GPUs para acelerar a geração de vetores de movimento que rastreiam como os pixels se movem entre os quadros. Isso permitirá que o conteúdo rodando a 30 quadros por segundo seja escalado para 60 quadros por segundo de forma muito econômica”, explicou North.
O NSSD foi projetado para fornecer a qualidade de imagem do traçado de caminho, que, segundo North, é muito custoso em termos computacionais, mesmo em sistemas desktop: “Ao combinar o traçado de caminho com uma rede neural, é possível projetar apenas um pequeno número de raios por pixel na cena e usar a tecnologia neural para preencher os detalhes ausentes. Assim, a rede neural pode extrapolar dados não apenas de pixels vizinhos, mas também de quadros anteriores.”
Todas essas inovações estão disponíveis para desenvolvedores hoje, graças ao Neural Graphics Development Toolkit. O kit inclui plugins para a Unreal Engine, permitindo a integração da superamostragem neural a um jogo “com apenas alguns cliques”. Os modelos estão disponíveis em formatos abertos no GitHub e no Hugging Face. A emulação completa das extensões Arm ML Vulkan para PC também está disponível, permitindo que os programadores usem toda a pilha de aplicativos sem esperar o lançamento de chips para dispositivos móveis.
A Arm não é a primeira empresa a integrar tecnologias neurais em chips de smartphones. Em particular, a IA já é amplamente utilizada para controlar funções de câmera. A Qualcomm, licenciada pela Arm, está expandindo os recursos de IA de suas plataformas de smartphones com unidades de processamento neural (NPUs). No MWC do ano passado, a Qualcomm demonstrou um grande modelo de linguagem com 7 bilhões de parâmetros em execução em um smartphone Android e apresentou seu AI Hub para desenvolvedores.