A OpenAI introduziu o software Point-E capaz de criar modelos 3D a partir de uma descrição de texto

A OpenAI, já famosa por seu gerador DALL-E capaz de gerar imagens a partir de descrições textuais, lançou um novo produto revolucionário. A empresa anunciou o mais recente desenvolvimento do POINT-E, pronto para criar formas 3D a partir de uma “nuvem” de pontos – também usando descrições de texto. Enquanto os sistemas existentes, como o Google DreamFusion, levam várias horas e enormes recursos de GPU por tentativa, o POINT-E requer um mínimo de recursos de hardware e um ou dois minutos de tempo.

Fonte da imagem: Milad Fakurian/unsplash.om

É bem possível que em breve o mundo veja não apenas os golpes de artistas digitais comuns, mas também artistas envolvidos na modelagem 3D, que hoje é usada literalmente em toda a esfera da mídia. Os efeitos CGI são usados ​​em filmes modernos, videogames, AR e VR, e até mesmo na criação de mapas de crateras lunares por organizações como a NASA. A tecnologia é usada ativamente pelo Google, literalmente todo o conceito do metaverso Meta* é baseado no uso de gráficos 3D. No entanto, a renderização 3D ainda é um processo que consome muitos recursos e tempo, apesar dos esforços de empresas como NVIDIA ou Epic Games para acelerar o desenvolvimento da indústria.

Recentemente, os geradores de imagens baseados em descrições de texto se tornaram muito populares: DALL-E 2 e Craiyon da OpenAI, DeepAI, Lensa da Prisma Labs ou Stable Diffusion da HuggingFace. A conversão de texto em 3D é uma ramificação promissora de tais desenvolvimentos.

Fonte da imagem: OpenAI

De acordo com o OpenAI, para criar um objeto tridimensional de acordo com a descrição, primeiro uma imagem regular é criada a partir do texto, após o que uma nuvem de pontos 3D é criada com base nela. Tudo acontece em segundos e não requer procedimentos caros. Por exemplo, ao inserir a descrição “um gato comendo um burrito”, o POINT-E gerará primeiro uma renderização 3D sintética do gato, após a qual começará a combinar uma série de modelos para criar um objeto tridimensional, primeiro a partir de 1024 pontos, então de 4096 Nesse caso, o objeto em si não é criado diretamente de acordo com a descrição.

A rede neural é treinada para criar objetos 3D com base na análise de “milhões” de imagens tridimensionais. Os desenvolvedores dizem que, embora a qualidade do trabalho finalizado seja inferior a algumas tecnologias concorrentes, as amostras podem ser criadas muito rapidamente, e quem desejar e tiver a experiência necessária pode avaliar o código do modelo proposto visitando o GitHub.

* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal proferiu decisão final de liquidação ou proibição de atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.