Cientistas aprenderam a recriar modelos 3D de objetos por seus reflexos no olho humano

A tecnologia Neural Radiance Field (NeRF), projetada para converter imagens bidimensionais em modelos tridimensionais, às vezes demonstra possibilidades incríveis, mas cientistas da Universidade de Maryland (EUA) decidiram aumentar significativamente as apostas, limitando-se à reflexão de objetos aos olhos de uma pessoa como dados iniciais.

Tiro do clipe Miley Cyrus. Fonte da imagem: world-from-eyes.github.io

Para recriar um modelo tridimensional, os cientistas precisam de uma imagem de alta resolução de uma pessoa. A imagem é redimensionada, o reflexo nas córneas é destacado – é invertido, a cor é processada e os artefatos introduzidos pelas córneas e as distorções causadas pelo formato do olho são removidos. Como resultado, um modelo 3D é construído.

Obviamente, a qualidade desse modelo está longe de ser perfeita – em alguns casos, é possível identificar objetos sem pequenos detalhes e é necessária uma iluminação especial para que o algoritmo funcione com eficiência. E os melhores resultados, claro, foram obtidos com a ajuda de simulações de computador – com a simulação do olho humano e do interior. A tarefa é um tanto simplificada devido ao fato de que a geometria da córnea na maioria dos adultos é aproximadamente a mesma.

Modelo de objeto 3D reconstruído a partir do reflexo no olho de Miley Cyrus

É prematuro julgar o propósito da tecnologia, se excluirmos cenários de filmes de espionagem. Na prática, eles tentaram aplicar a técnica nos clipes de Miley Cyrus (Miley Cyrus) e Lady Gaga (Lady Gaga), e o resultado foi modesto: nos olhos da primeira, um suposto dispositivo de iluminação foi refletido, e no segundo, algo como um torso humano.