Em entrevista ao Digital Foundry, Bryan Catanzaro, vice-presidente de pesquisa de aprendizado profundo aplicado da Nvidia, disse que não descarta a possibilidade de introdução da função de geração de quadros de IA para aumentar o FPS, que passou a fazer parte da tecnologia DLSS , em placas de vídeo Nvidia mais antigas no futuro.
Fonte da imagem: Digital Foundry/Nvidia
Desde a sua estreia em 2018, a tecnologia de escalonamento de aprendizagem profunda (DLSS) da Nvidia evoluiu para a sua quarta versão. Sua última iteração mudou para um modelo de IA do tipo transformador, que possibilitou a implementação de uma série de novas funções, incluindo geração de múltiplos quadros (MFG). Este último permite criar até três quadros adicionais para cada quadro renderizado tradicionalmente para aumentar o FPS.
A Nvidia conseguiu implementar algumas novas tecnologias, incluindo DLSS Ray Reconstruction, Super Resolução e tecnologia Deep Learning Anti-Aliasing (DLAA), em todas as placas gráficas GeForce RTX desde a década de 20. No entanto, a geração de quadros de primeira geração, originalmente introduzida como um recurso exclusivo das placas gráficas GeForce RTX série 40, não é suportada pelos modelos GeForce RTX série 30 e RTX série 20. O novo gerador multiframe foi inicialmente anunciado apenas para a mais recente GeForce RTX 5000.
Em conversa com repórteres, Brian Catanzaro observou que não descarta o aparecimento de uma função de geração de quadros em modelos mais antigos de placas de vídeo Nvidia.
«Acho que a chave aqui é a questão do design e da otimização, bem como da experiência do usuário final. Estamos rodando este gerador de frames, o melhor gerador de frames que é a Geração Multi Frame, com placas gráficas da série 50. E no futuro veremos se conseguimos extrair algo para a geração antiga de equipamentos”, comentou um representante da Nvidia.
Dada a afirmação de Catanzaro, pode-se supor que a primeira versão do gerador de quadros poderá eventualmente aparecer nas placas de vídeo da série GeForce RTX 30. No entanto, é improvável que apareça nos modelos da série GeForce RTX 20. Ao mesmo tempo, muito provavelmente, o gerador de quadros multiframe permanecerá exclusivo das placas de vídeo da série RTX 50, uma vez que sua operação requer significativamente mais poder de computação adaptado para IA, que essas placas fornecem com novos núcleos tensores.
Um dos principais desenvolvedores da Nvidia também compartilhou algumas informações sobre o desenvolvimento do DLSS.
«Quando criamos o Nvidia DLSS 3 Frame Generation, precisávamos absolutamente de aceleração de hardware para computação de fluxo óptico. Mas não tínhamos núcleos tensores suficientes e não tínhamos um algoritmo de fluxo óptico bom o suficiente. Não criamos um algoritmo de fluxo óptico em tempo real em Tensor Cores que pudesse caber em nossas reservas de energia computacional. Tínhamos o acelerador de hardware Optical Flow, que a Nvidia vinha construindo há anos como uma evolução de nossa tecnologia de codificação de vídeo. Também fazia parte de nossa tecnologia de aceleração de visão computacional para carros autônomos. Parecia que faria sentido usá-lo também para Nvidia DLSS 3 Frame Generation. Mas o desafio de qualquer implementação de hardware de um algoritmo como o Optical Flow é que ele é realmente difícil de melhorar. É o que é, e as falhas que esse hardware Optical Flow causou foram coisas que não poderíamos consertar com uma rede neural mais inteligente até que decidimos apenas substituí-la e mudar para uma solução totalmente baseada em IA. Foi exatamente isso que fizemos para a geração de quadros no DLSS 4.”