A Intel lançou a ferramenta de IA CGVQM, que permite avaliar objetivamente a qualidade das imagens em jogos modernos. O modelo analisa distorções que ocorrem ao usar tecnologias de dimensionamento e aprimoramento gráfico, como upscaling (DLSS, FSR, XeSS), geração de quadros e outros métodos de renderização.
Fonte da imagem: Intel
Métricas tradicionais como PSNR nem sempre são adequadas para avaliar gráficos de jogos, pois foram originalmente criadas para analisar vídeos compactados. Elas não levam em consideração artefatos específicos que surgem ao usar upscalers, ray tracing ou sombreamento dinâmico. Por exemplo, cintilação, efeito fantasma, aliasing, distorção de objetos e outros podem aparecer durante o processamento. Uma nova métrica chamada Computer Graphics Visual Quality Metric (CGVQM) usa inteligência artificial para analisar imagens de vídeo e identificar defeitos causados por métodos modernos de processamento de imagem.
Uma equipe de pesquisadores da Intel — Akshay Jindal, Nabil Sadaka, Anton Sochenov e outros — propôs uma abordagem em duas etapas. Primeiro, eles coletaram o conjunto de dados CGVQD, que inclui redução de ruído da rede neural, upscaling, interpolação de quadros e sombreamento adaptativo, e então treinaram a rede neural CGVQM com base nele, que pode avaliar a qualidade da imagem da mesma forma que um ser humano.
Para calibrar o modelo, um grupo de voluntários assistiu a vídeos do conjunto de dados e foi solicitado a classificar os artefatos em uma escala de “imperceptível” a “muito irritante”. Esses dados se tornaram a base para o treinamento de uma rede neural convolucional 3D (3D-CNN) baseada na arquitetura ResNet-18, que permite analisar distorções não apenas espaciais, mas também temporais, o que é crucial para o vídeo.
No final, o CGVQM superou a maioria das métricas existentes nos testes, especialmente ao trabalhar com seu próprio conjunto de dados. O modelo CGVQM-5 apresentou um resultado próximo à avaliação humana, e o CGVQM-2, mais simples, ficou em terceiro lugar entre os sistemas testados. Ao mesmo tempo, o CGVQM é capaz de analisar conteúdo de terceiros que não está incluído no conjunto de treinamento, o que o torna uma ferramenta universal.