Em um artigo intitulado “Neural Texture Compression of Random Access Materials”, a NVIDIA apresenta um novo algoritmo de compactação de textura, Neural Texture Compression (NTC). O algoritmo é uma resposta às crescentes demandas de memória de vídeo, que agora precisa armazenar texturas de alta resolução, bem como muitas propriedades e atributos associados a elas, a fim de renderizar materiais com alta fidelidade e aparência natural.
Fonte da imagem: NVIDIA
A NVIDIA diz que o NTC fornece resolução 4x maior (16x mais texels) do que a compactação em bloco, que é a compactação de textura padrão assistida por GPU disponível em muitos formatos. O algoritmo NVIDIA representa texturas como tensores (três dimensões), mas sem quaisquer suposições como compressão de bloco (BC). A única tolerância que o NTC faz é que cada textura tenha o mesmo tamanho.
O acesso aleatório e local é uma característica importante do NTC. Para compactação de texturas por GPU, é fundamental que elas possam ser acessadas com baixo custo e sem latência, mesmo quando altas taxas de compactação são aplicadas. A nova abordagem visa compactar vários canais e mipmaps (texturas de tamanhos diferentes) juntos, resultando em melhor qualidade e taxa de bits do que JPEG XL ou AVIF. Ao contrário dos algoritmos convencionais de compressão de blocos que requerem blocos especiais, o algoritmo NTC usa técnicas de multiplicação de matrizes que são executadas pelas próprias GPUs modernas. Segundo o artigo, isso torna o algoritmo NTC mais prático e funcional devido a menos restrições de disco e memória.
De acordo com o artigo, as texturas neurais podem ser renderizadas em tempo real usando até 16 vezes mais texels do que a abordagem BC e uma velocidade de renderização 4K de 1,15ms (medida em um RTX 4090). Mais informações sobre o estudo serão apresentadas no SIGGRAPH 2023 em 6 de agosto.