A rede neural Yandex aprendeu a gerar vídeos curtos no Masterpiece

A equipe de desenvolvimento do Yandex anunciou a ampliação das capacidades do aplicativo móvel Masterpiece e a implementação no programa da função de criação de vídeos curtos por meio de uma rede neural generativa. A empresa é considerada a primeira no mercado russo a oferecer esta tecnologia a um público amplo.

Fonte de animação: Yandex

Para gerar um vídeo no Masterpiece, basta descrever em texto o que deseja ver. Em resposta, o aplicativo oferecerá quatro opções para o primeiro quadro e um conjunto de efeitos de animação para criar movimento. Um total de sete efeitos estão disponíveis: zoom (zoom), lapso de tempo (avanço rápido), voo, panorama, rotação, elevação e metamorfose (mudança gradual). O método de difusão em cascata é usado para criar quadros de vídeo futuros. Usando esta tecnologia, Masterroom gera imagens individuais. Primeiro, a rede neural cria imagens de acordo com a solicitação e depois aumenta gradativamente sua resolução, saturando-as de detalhes.

«Masterpiece gera quatro segundos de vídeo a 24 quadros por segundo. Depois de publicados, eles podem ser compartilhados com amigos ou salvos como MP4. No momento, a função está funcionando em modo de teste e está disponível na versão atualizada do aplicativo para usuários ativos do Masterpiece.

«Yandex” forneceu “Masterpiece” para Android e iOS em abril de 2023. O programa é baseado em uma rede neural contendo 5 bilhões de parâmetros e treinado em 330 milhões de exemplos de imagens com descrição de texto. O desenvolvedor planeja treinar a rede neural com novos conhecimentos e implementá-los em outros serviços e produtos da empresa.