O Google DeepMind apresentou o modelo Genie 2 AI, que pode transformar textos em jogos 3D

A equipe do Google DeepMind revelou o Genie 2, a segunda versão de um modelo fundamental de IA capaz de gerar novos ambientes digitais interativos, ou mundos de jogos, dinamicamente.

Fonte da imagem: Google

Para recapitular, o Genie original foi lançado em fevereiro e poderia gerar mundos virtuais 2D a partir de imagens sintetizadas. O Genie 2 é capaz de fazer isso em 3D e baseado em comandos de texto.

O usuário pode descrever o mundo desejado, selecionar uma renderização adequada e entrar em um novo ambiente. A cada passo, uma pessoa/agente realiza uma ação (mover o mouse, pressionar uma tecla do teclado) e o Genie 2 simula suas consequências.

Cada exemplo é baseado em uma imagem gerada pelo modelo de IA do Imagen 3 com base em um prompt de texto.

De acordo com o Google DeepMind, o Genie 2 pode gerar mundos interativos sequenciais que duram cerca de um minuto, embora a maioria dos exemplos mostrados (veja o vídeo abaixo) durem de 10 a 20 segundos.

Comparado com a primeira versão do Genie 2:

• Consegue lembrar elementos do mundo que não estão no campo de visão;
• Pode criar ambientes com diferentes perspectivas (primeira ou terceira pessoa, câmera isométrica e assim por diante);
• Pode criar cenas tridimensionais complexas;
• Pode simular uma variedade de interações com objetos, como estourar balões, abrir portas ou explodir barris explosivos com um tiro;
• Aprendi a animar diferentes tipos de personagens;
• Aprendeu a modelar NPCs e interações com eles;
• Aprendeu a simular os efeitos da água, fumaça, gravidade, iluminação, reflexos;
• Aprendi a simular um ambiente interativo baseado em fotografias reais.

De acordo com o Google DeepMind, o Genie 2 demonstra o potencial dos modelos fundamentais do mundo para criar uma variedade de ambientes tridimensionais e acelerar o treinamento/teste de agentes de IA (como SIMA).

O Google DeepMind esclarece que a pesquisa está em um estágio inicial e requer melhorias significativas nas áreas de capacidades dos agentes e geração de ambientes, mas já vê o Genie 2 como uma solução para o problema estrutural de treinar agentes de IA com segurança.