«Yandex anunciou o desenvolvimento de uma versão beta da rede neural YandexART (Vi), projetada para criar vídeos de cinco segundos de duração. Ela retrata de forma realista os movimentos dos objetos – podem ser ondas do mar, uma pessoa ou um animal.
Fonte da imagem: Yandex
Na prática, a empresa oferece o uso de vídeos criados pela modelo para instalar protetores de tela animados no celular; A rede neural também será útil para blogueiros e representantes de profissões criativas. Você pode usar YandexART (Vi) no aplicativo Masterpiece.
Yandex apresentou a versão anterior da rede neural para geração de vídeo com base em uma solicitação de texto em agosto do ano passado – ela criou uma animação que representava o movimento da câmera, não do objeto, e os próprios objetos podiam diferir visivelmente em quadros diferentes.
Uma característica especial do YandexART (Vi) é sua capacidade de reproduzir movimentos realistas, levando em consideração a relação entre os frames, devido aos quais os objetos no frame se movem de maneira suave e confiável. Para isso, o modelo foi treinado em vídeos com objetos em movimento – por exemplo, um carro em movimento ou um gato sorrateiro.
Para trabalhar com a função de geração de vídeo, basta o usuário descrever em texto o que deseja ver no quadro. Primeiro, a rede neural cria uma imagem a partir da qual a sequência de animação começará e, em seguida, transforma o ruído digital em uma sequência de quadros de acordo com a solicitação e a amostra – o primeiro quadro.