A equipe do Google DeepMind revelou o Genie 2, a segunda versão de um modelo fundamental de IA capaz de gerar novos ambientes digitais interativos, ou mundos de jogos, dinamicamente.
Fonte da imagem: Google
Para recapitular, o Genie original foi lançado em fevereiro e poderia gerar mundos virtuais 2D a partir de imagens sintetizadas. O Genie 2 é capaz de fazer isso em 3D e baseado em comandos de texto.
O usuário pode descrever o mundo desejado, selecionar uma renderização adequada e entrar em um novo ambiente. A cada passo, uma pessoa/agente realiza uma ação (mover o mouse, pressionar uma tecla do teclado) e o Genie 2 simula suas consequências.
Cada exemplo é baseado em uma imagem gerada pelo modelo de IA do Imagen 3 com base em um prompt de texto.
De acordo com o Google DeepMind, o Genie 2 pode gerar mundos interativos sequenciais que duram cerca de um minuto, embora a maioria dos exemplos mostrados (veja o vídeo abaixo) durem de 10 a 20 segundos.
Comparado com a primeira versão do Genie 2:
- Consegue lembrar elementos do mundo que não estão no campo de visão;
- Pode criar ambientes com diferentes perspectivas (primeira ou terceira pessoa, câmera isométrica e assim por diante);
- Pode criar cenas tridimensionais complexas;
- Pode simular uma variedade de interações com objetos, como estourar balões, abrir portas ou explodir barris explosivos com um tiro;
- Aprendi a animar diferentes tipos de personagens;
- Aprendeu a modelar NPCs e interações com eles;
- Aprendeu a simular os efeitos da água, fumaça, gravidade, iluminação, reflexos;
- Aprendi a simular um ambiente interativo baseado em fotografias reais.
De acordo com o Google DeepMind, o Genie 2 demonstra o potencial dos modelos fundamentais do mundo para criar uma variedade de ambientes tridimensionais e acelerar o treinamento/teste de agentes de IA (como SIMA).
O Google DeepMind esclarece que a pesquisa está em um estágio inicial e requer melhorias significativas nas áreas de capacidades dos agentes e geração de ambientes, mas já vê o Genie 2 como uma solução para o problema estrutural de treinar agentes de IA com segurança.