GPT-4 dominou Red Dead Redemption 2, mas a visão computacional o decepciona

Um grupo de pesquisadores da China e Cingapura ensinou IA baseada em OpenAI GPT-4V para jogar Red Dead Redemption 2 (RDR2). Em seu artigo, eles falaram sobre o conceito de General Computer Control (GCC) para IA e sobre o agente multimodal CRADLE – uma interface entre GPT-4V e RDR2. Na opinião deles, os principais problemas com o agente de IA do jogo surgiram ao usar a visão computacional.

Fonte da imagem: Rockstar

O objetivo dos pesquisadores era fazer com que a IA, alimentada por OpenAI GPT-4V, interagisse com um computador detectando sinais visuais e de áudio, assim como faz o usuário humano médio de PC. O projeto fornece informações sobre o quão longe os desenvolvedores de IA avançaram no movimento em direção à inteligência artificial geral (AGI).

Os pesquisadores escolheram o RDR2 porque possui “um sofisticado sistema de controle de caixa preta que incorpora as tarefas de computação mais exigentes e nos permite avaliar os limites de desempenho de nossa plataforma em tais ambientes virtuais”. Além disso, elementos da interface do usuário, como diálogos, ícones exclusivos, dicas e instruções no jogo, garantem que nenhum conhecimento básico seja considerado garantido, o que é ótimo para o treinamento de IA. Os pesquisadores afirmam que controlar o jogo usando mouse e teclado fornece o melhor treinamento para o GCC.

Como funciona o CRADLE / Fonte da imagem: arxiv.org

Os pesquisadores pretendiam demonstrar a capacidade da IA ​​de aprender um jogo do zero (sem acesso a qualquer estado interno do jogo ou API), da mesma forma que um ser humano faria. O agente de IA “jogou” o jogo, movendo-se pelo mundo e completando missões, seguindo o enredo principal de RDR2. No geral, o CRADLE foi um sucesso notável no RDR2. Ele foi capaz de “completar consistentemente todos os objetivos principais do enredo”, com exceção da missão Firestorm, missões que exigem a exploração de um mundo interior complexo e missões abertas de vários estágios.

Como o CRADLE executa tarefas do jogo / Fonte da imagem: arxiv.org

Os pesquisadores acreditam que o GPT4-V é responsável por algumas das dificuldades recorrentes que o CRADLE encontrou. Na sua opinião, “as capacidades de reconhecimento espacial-visual do GPT-4V são insuficientes para um controle detalhado e preciso”. GPT4-V lutou com conceitos específicos de domínio, como ícones exclusivos no jogo, compreensão de minimapas e obstáculos gerais no ambiente de jogo.

Desempenho do CRADLE em diferentes tipos de missão / Fonte da imagem: arxiv.org

Embora o artigo publicado se concentre na interação da IA ​​com o RDR2, os autores afirmam que o objetivo do sistema CRADLE dentro do GCC é muito mais amplo: “suportar uma gama mais ampla de jogos, como jogos de simulação e estratégia, bem como vários aplicativos de software. ”