Cientistas da Apple desenvolveram uma tecnologia que melhora significativamente a eficiência da renderização de espaços 3D de alta resolução. Ela não exige um aumento significativo nos recursos computacionais à medida que a resolução aumenta.
Fonte da imagem: yxlao.github.io/lgtm
A tecnologia chama-se LGTM (Menos Gaussianas, Mais Textura) — além de pesquisadores da Apple, cientistas da Universidade de Hong Kong participaram do seu desenvolvimento. Os métodos existentes para renderizar cenas 3D a partir de fotografias ou outras imagens planas levam a um aumento acentuado nos custos computacionais à medida que a resolução aumenta. No final do ano passado, a empresa apresentou uma tecnologia baseada na construção de espaço virtual a partir de representações 3D de uma função gaussiana, que também sofre com essa desvantagem.
O sistema LGTM, que significa “separação da complexidade geométrica da resolução de renderização”, resolve esse problema. Simplificando, os cientistas separaram a estrutura de uma cena de seus detalhes visuais: a geometria espacial permanece o mais simples possível, enquanto detalhes de alta resolução são adicionados durante a etapa de mapeamento de textura. Durante o treinamento, o modelo gera um esqueleto da cena usando imagens de baixa resolução, e o resultado é comparado com as imagens originais de alta resolução. Como resultado, ele começa a construir uma geometria espacial precisa mesmo quando renderizada em resoluções 2K e 4K, sem falhas ou artefatos. Enquanto a primeira rede neural é responsável por construir a geometria, a segunda estuda a imagem de alta resolução e, com base nela, cria texturas detalhadas que são sobrepostas ao esqueleto simples criado pela primeira.
Como resultado, a tecnologia LGTM permite a recriação de cenas 3D detalhadas em resolução 4K sem o aumento exponencial de recursos típico dos sistemas tradicionais. Na prática, essa solução ajudará, por exemplo, na operação de sistemas de realidade virtual e aumentada — a resolução total dos monitores Apple Vision Pro é de 23 megapixels, o que exige recursos computacionais colossais.