Em uma entrevista recente, Jacob Freeman, funcionário da Nvidia, explicou como funciona a tecnologia de upscaling DLSS 5, impulsionada por inteligência artificial. O sistema recebe como entrada um quadro renderizado em 2D e vetores de movimento.
Fonte da imagem: nvidia.com
Isso significa que o Nvidia DLSS 5 não leva em consideração nenhuma geometria 3D criada pelo desenvolvedor, profundidade da cena ou dados de materiais. Além das imagens 2D e dos setores de movimento, o modelo de IA por trás da tecnologia de upscaling entende a semântica da cena: ele identifica cabelo, tecido, pele e condições de iluminação — e precisa apenas de um único quadro para analisar esses dados. Ele não considera metalicidade, rugosidade, mapas de normais ou outras propriedades básicas de materiais, embora as descrições anteriores da Nvidia possam ter dado a impressão de que o DLSS 5 analisa a cena mais profundamente.
Isso explica por que alguns exemplos do desempenho da tecnologia parecem imprevisíveis: em um deles, um personagem ganhou cabelo onde não havia nenhum no original; em outro, as feições do personagem mudaram completamente. No entanto, a Nvidia insiste que “a geometria subjacente permaneceu inalterada” e que a demonstração usou “uma versão preliminar muito inicial da tecnologia”.
Há motivos para acreditar que os desenvolvedores têm controle limitado sobre o DLSS 5. Eles podem ajustar sua intensidade, correção de cor, mesclagem, contraste, saturação e gama, bem como aplicar máscaras para excluir objetos específicos dos algoritmos de aprimoramento. Os desenvolvedores também não têm maneiras específicas de ajustar a correção de características faciais ou eliminar efeitos de maquiagem — eles só podem reduzir a intensidade do efeito, aplicar uma máscara ou desativar o algoritmo completamente. Assim, os rostos continuarão sendo gerados por IA.