A ByteDance revelou um modelo compacto de IA que pode transformar qualquer foto em um modelo 3D de alta qualidade.

A empresa controladora do TikTok, ByteDance, revelou o Seed3D 1.0, uma ferramenta de criação de conteúdo 3D com tecnologia de IA que pode transformar uma única imagem 2D em um modelo 3D completo de nível de simulação, completo com geometria detalhada, texturas fotorrealistas e materiais de renderização baseados em física (PBR) que levam em consideração propriedades do mundo real de reflexão, refração e dispersão de luz.

Fonte da imagem: seed.bytedance.com

De acordo com a empresa, com base na arquitetura Diffusion Transformer (DiT), que combina as propriedades de modelos de difusão e transformadores, o Seed3D 1.0 supera concorrentes de código aberto e fechado em qualidade de textura e precisão geométrica. Com apenas 1,5 bilhão de parâmetros, o Seed3D 1.0 supera modelos ainda maiores, como o Hunyuan3D 2.1, com 3 bilhões de parâmetros.

O principal recurso da nova ferramenta de IA é a combinação de um Transformador de Difusão Multimodal (MMDiT) e uma estratégia de geração passo a passo. O sistema primeiro analisa a imagem usando um Modelo de Visão-Linguagem (VLM) para extrair parâmetros do objeto e do espaço. Em seguida, para cada objeto localizado, o Seed3D 1.0 sintetiza a geometria e os materiais correspondentes. A cena final é montada posicionando cada objeto gerado de acordo com a configuração espacial prevista pelo VLM. Essa estrutura permite a geração de cenas em diversas escalas, desde ambientes internos, como escritórios, até cenas urbanas de grande porte.

O Seed3D 1.0 garante a consistência das texturas em diferentes perspectivas. Em vez de usar texturas padrão, a ferramenta de IA gera materiais com aparência consistente em todas as perspectivas, garantindo realismo e precisão estrutural para uso em simulação. A empresa observou que os modelos criados com o Seed3D podem ser integrados diretamente a plataformas de simulação, como o Isaac Sim, para treinamento em IA.