A Runway apresentou seu primeiro modelo de IA do mundo e adicionou som ao gerador de vídeos 3DNews.

A Runway, empresa que anteriormente produzia geradores de imagem e vídeo, revelou um modelo de IA para geração de mundos virtuais, chamado GWM-1. Ele opera por meio de previsão quadro a quadro, criando simulações com uma compreensão da física e de como o mundo se comporta ao longo do tempo.

Fonte da imagem: Runway

Um modelo mundial é um sistema de IA que aprende simulações internas de processos que podem ocorrer no mundo real. Ele consegue raciocinar, planejar e executar ações sem a necessidade de ser treinado em todos os cenários possíveis do mundo real. “Para criar um modelo mundial, primeiro precisamos desenvolver um modelo de vídeo de altíssima qualidade. Acreditamos que a maneira correta de criar modelos mundiais é treiná-los para prever pixels diretamente, e essa é a melhor forma de alcançar uma modelagem universal. Com escala suficiente e os dados certos, é possível criar um modelo que entenda razoavelmente bem como o mundo funciona”, explicou Anastasis Germanidis, CEO da Runway.

A empresa apresentou três versões de seu novo modelo de mundo: GWM-Worlds, GWM-Robotics e GWM-Avatars. O GWM-Worlds é um aplicativo para criação de projetos interativos. O usuário define uma cena inicial usando uma consulta de texto ou uma imagem de exemplo e, à medida que explora o espaço, o modelo gera um mundo levando em consideração geometria, física e iluminação. A simulação roda em resolução 720p e 24 quadros por segundo. O GWM-Worlds pode ser usado no desenvolvimento de jogos e também é adequado para o treinamento de agentes de navegação e agentes de ação do mundo real. O GWM-Robotics foi projetado para gerar dados sintéticos enriquecidos com novos parâmetros, como mudanças nas condições climáticas ou o aparecimento de obstáculos. Esse método ajudará a identificar quando e em que condições os robôs são capazes de infringir regras, levando em consideração diversos cenários. O GWM-Avatars foi projetado para criar avatares realistas e simular o comportamento humano. Atualmente, Worlds, Robotics e Avatars operam como modelos separados, mas a Runway planeja combiná-los.

A empresa também anunciou uma atualização para seu modelo básico Gen 4.5, que agora pode gerar áudio incorporado e criar vídeos longos com múltiplos quadros. Esses vídeos podem ter até um minuto de duração, com fluxo de personagens consistente, diálogos incorporados, áudio de fundo e tomadas complexas de vários ângulos. Também é possível editar áudio existente, adicionar diálogos e modificar vídeos com múltiplos quadros de qualquer duração. Todos os usuários dos planos pagos podem usar o gerador de vídeos Runway Gen 4.5. O GWM-Robotics estará disponível por meio de um SDK; negociações estão em andamento com parceiros para integrar o GWM-Robotics e o GWM-Avatars para criadores de robôs e outras empresas.