Criou IA que transforma uma imagem 2D em um modelo 3D em cinco segundos

Pesquisadores da Adobe e da Australian National University desenvolveram um algoritmo que converte imagens 2D em modelos 3D em apenas 5 segundos. Esta inovação promete revolucionar a criação de conteúdo em design e entretenimento, mas tome cuidado com possíveis problemas com texturas borradas e violações de direitos autorais.

Fonte da imagem: Placidplace / Pixabay

O novo algoritmo, denominado Large Reconstruction Model ou LRM, é um avanço significativo na criação rápida de modelos 3D a partir de uma única imagem. O algoritmo, treinado em um grande conjunto de dados de quase um milhão de objetos 3D disponíveis no Objaverse e MVImgNet, demonstrou capacidade excepcional de generalização em uma variedade de imagens ao criar conteúdo 3D.

Ao contrário dos modelos anteriores que foram treinados em conjuntos de dados limitados com foco em uma única categoria de imagens, o LRM utiliza uma arquitetura transformadora, que se tornou a base para muitos desenvolvimentos em aprendizagem profunda, com 500 milhões de parâmetros. Isso permite que o modelo de IA funcione de forma eficaz com uma variedade de tipos de imagens, incluindo fotos do mundo real e colagens visuais criadas por outros serviços de IA, como DALL-E e Stable Diffusion.

Fonte da imagem: yiconghong.me

Yicong Hong, principal autor do estudo, enfatizou que o LRM é um avanço significativo no campo da reconstrução 3D. O algoritmo é capaz de reproduzir geometria detalhada e texturas complexas, como veios de madeira, mantendo a qualidade e a precisão.

A aplicação do LRM pode ser verdadeiramente difundida, desde o design e entretenimento até a indústria de jogos. Para designers e artistas 3D, isso significa criação de modelos mais rápida, o que é especialmente importante no desenvolvimento de videogames e animações. Além disso, a capacidade dos usuários comuns de usar o LRM promete tornar a modelagem 3D exclusiva de mais do que apenas profissionais. Agora será possível criar modelos detalhados até mesmo a partir de fotos tiradas com um smartphone.

No entanto, o LRM tem suas limitações, como desfoque de textura em áreas ocultas da imagem. Também vale a pena considerar questões de direitos autorais, especialmente no contexto do uso de imagens geradas por outros serviços de IA. Para demonstrar as capacidades do LRM, os pesquisadores criaram uma página com demonstrações em vídeo e modelos 3D interativos. Isto realça o papel crescente da IA ​​no mundo de hoje e o seu impacto potencial no futuro das indústrias criativas.