A Adobe lançou oficialmente uma nova rede neural generativa, Firefly Video Model, projetada para trabalhar com vídeo e que se tornou parte do aplicativo Premiere Pro. Com esta ferramenta, os usuários poderão complementar as filmagens, bem como criar vídeos a partir de imagens estáticas e prompts de texto.
Fonte da imagem: Adobe
A função Generative Extend baseada na rede neural mencionada está sendo disponibilizada para usuários do Premiere Pro como parte do teste beta. Isso permitirá que você estenda o vídeo por alguns segundos no início, no final ou em algum outro segmento do vídeo. Isso pode ser útil se durante o processo de edição você precisar corrigir pequenos defeitos, como mudança no olhar de uma pessoa no enquadramento ou movimentos desnecessários.
O Generative Extend só pode estender um vídeo em dois segundos, portanto, é adequado apenas para fazer pequenas alterações. Esta ferramenta funciona em resolução 720p ou 1080p a 24 quadros por segundo. A função também é adequada para aumentar a duração do áudio, mas há limitações. Por exemplo, um usuário pode estender um efeito sonoro ou ruído ambiente por até 10 segundos, mas isso não pode ser feito com gravações de conversas ou faixas de música.
A versão web do Firefly possui duas novas ferramentas de geração de vídeo. Estamos falando das funções Text-to-Video e Image-to-Video, que, como o nome sugere, permitem criar vídeos com base em prompts de texto e imagens estáticas. Ambos os recursos estão atualmente em testes beta limitados e podem não estar disponíveis para todos os usuários da web do Firefly.
Text-to-Video funciona de forma semelhante a outros geradores de vídeo de IA, como o Sora da OpenAI. O usuário precisa inserir uma descrição em texto do resultado desejado e iniciar o processo de geração do vídeo. A simulação de diferentes estilos é suportada, e os vídeos gerados podem ser ainda mais refinados usando um conjunto de “controles de câmera” que permitem simular coisas como ângulo da câmera, movimento e alteração da distância de filmagem.
Image-to-Video permite adicionar uma imagem estática à descrição do texto para que os vídeos gerados atendam com mais precisão aos requisitos do usuário. A Adobe sugere o uso desta ferramenta, entre outras coisas, para refazer fragmentos individuais, gerando novos vídeos com base em frames individuais de vídeos existentes. Porém, os exemplos publicados deixam claro que esta ferramenta, pelo menos nesta fase, não permitirá abandonar as refilmagens, uma vez que não reproduz com precisão todos os objetos da imagem. Abaixo está um exemplo do vídeo original e um vídeo gerado com base em um quadro do original.