Com a popularidade das redes neurais generativas, muitos algoritmos de IA para criação de vídeos já estão disponíveis, como Sora, Haiper e Luma AI. Os desenvolvedores da Stability AI introduziram algo completamente novo. Estamos falando da rede neural Stable Video 4D, que se baseia no modelo Stable Video Diffusion existente, que permite converter imagens em vídeo. A nova ferramenta leva esse conceito ainda mais longe, criando vários vídeos de 8 perspectivas diferentes a partir dos dados de vídeo resultantes.
Difusão Estável 3
«Acreditamos que o Stable Video 4D será usado em filmes, jogos, AR/VR e outras áreas onde há necessidade de visualizar objetos 3D em movimento dinâmico a partir de ângulos arbitrários”, disse Varun Jampani, chefe de pesquisa 3D da Stability AI Jampani).
Esta não é a primeira vez que o Stability AI vai além da geração de vídeo 2D. Em março, a empresa anunciou o algoritmo Stable Video 3D, que permite aos usuários criar pequenos vídeos 3D com base em uma imagem ou descrição de texto. Com o lançamento do Stable Video 4D, a empresa dá um passo significativo. Embora o conceito de 3D ou três dimensões seja geralmente entendido como um tipo de imagem ou vídeo com profundidade, o 4D não acrescenta outra dimensão. Na verdade, 4D inclui largura (x), altura (y), profundidade (z) e tempo (t). Isso significa que o Stable Video 4D permite visualizar objetos 3D em movimento de diferentes pontos de vista e em diferentes momentos.
«Os principais aspectos que nos permitiram criar Stable Video 4D foram que combinamos os pontos fortes de nossos modelos Stable Video Diffusion e Stable Video 3D lançados anteriormente e os aprimoramos com um conjunto de dados cuidadosamente curado de objetos 3D em movimento dinâmico”, explicou Jampani. Ele também acrescentou que Stable Video 4D é o primeiro algoritmo desse tipo no qual uma única rede neural realiza síntese de imagem e geração de vídeo. Análogos já existentes usam redes neurais separadas para resolver esses problemas.
«O Stable Video 4D sintetiza completamente oito novos vídeos do zero, usando o vídeo de entrada como guia. Não há transferência explícita de informações sobre pixels da entrada para a saída; toda essa transferência de informações é realizada implicitamente pela rede neural”, acrescentou Jampani. Ele acrescentou que atualmente o Stable Video 4D pode lidar com vídeo de um único objeto com duração de vários segundos com um fundo simples. No futuro, os desenvolvedores planejam melhorar o algoritmo para que ele possa ser usado no processamento de vídeos mais complexos.