O Facebook criou uma alternativa independente de hardware ao NVIDIA DLSS

Um novo artigo publicado por pesquisadores do Facebook antes do SIGGRAPH 2020 fala sobre a tecnologia de anti-aliasing de tela cheia baseada em aprendizado de máquina do Neural Supersampling – não é muito diferente da tecnologia NVIDIA Deep Learning Super Sampling (DLSS), mas não requer nenhum hardware ou software patenteado fornecendo.

Além disso, os resultados da tecnologia são impressionantes: como você pode ver nos exemplos de imagens, a qualidade é bastante comparável ao DLSS. “O mais próximo de nosso trabalho é a tecnologia DLSS (NVIDIA Deep-Learned Supersampling), que em tempo real melhora a qualidade da renderização de conteúdo em baixa resolução usando uma rede neural”, diz a descrição.

Segundo os pesquisadores, seu método é fácil de integrar aos mecanismos modernos de jogos, não requer equipamentos especiais (por exemplo, para rastreamento ocular) ou software (por exemplo, drivers DLSS especiais), o que o torna aplicável a uma ampla gama de plataformas de software existentes, aceleradores de hardware e exibe.

«Descobrimos que, para a neuro-amostragem, informações adicionais de suporte fornecidas por vetores de movimento mostraram-se especialmente eficazes. Os vetores de movimento definem a correspondência geométrica entre pixels em quadros sucessivos. Em outras palavras, cada vetor de movimento indica uma localização de sub-pixel onde um ponto de superfície, visível em um quadro, poderia aparecer no quadro anterior. Esses valores são geralmente estimados por métodos de visão computacional para imagens fotográficas, mas esses algoritmos de estimativa de fluxo óptico são propensos a erros. Por outro lado, o pipeline de renderização pode gerar diretamente vetores de movimento denso, fornecendo dados de entrada confiáveis ​​e ricos para a amostragem de neuro-superser aplicada ao conteúdo renderizado.

Nosso método baseia-se nas observações acima e combina informações adicionais de suporte com um novo design de rede neuro espaço-temporal que visa maximizar a qualidade de imagem e vídeo e, ao mesmo tempo, fornecer desempenho em tempo real.

Durante a tomada de decisão, nossa rede neural aceita os atributos de entrada dos atributos de renderização (cor, mapa de profundidade e vetores de movimento denso para cada quadro) dos quadros atuais e de vários quadros anteriores visualizados em baixa resolução. Na saída, a rede neural recebe uma imagem colorida de alta resolução correspondente ao quadro atual. A rede passa por um treinamento controlado: no processo, uma imagem de alta resolução obtida pelo anti-aliasing em tela cheia atua como uma imagem de referência – é usada em conjunto com cada quadro de entrada de baixa resolução. ”

Obviamente, o Facebook também mencionou a possível aplicação do método de Supersampling Neural em aplicativos de realidade aumentada e virtual dentro da estrutura de sua própria plataforma Oculus. No entanto, não há razão para que uma alternativa tão promissora ao DLSS não possa ser aplicada a jogos regulares.