A equipe do Google DeepMind Robotics demonstrou esta semana como o robô RT-2, treinado usando a rede neural Google Gemini 1.5 Pro, pode executar comandos de linguagem natural e se movimentar em um escritório.
Fonte da imagem: Google DeepMind
A DeepMind Robotics publicou um artigo intitulado “Mobility VLA: Navegação instrucional multimodal usando VLM com contexto longo e gráficos topológicos”, no qual uma série de vídeos mostrava o robô realizando diversas tarefas em um espaço de escritório de 9.000 metros quadrados. pés (836 m2).
Em um vídeo, um funcionário do Google pede ao robô que o leve a algum lugar para desenhar. “Ok”, ele responde, “dê-me um minuto”. Estamos pensando junto com Gêmeos…” O robô então conduz a pessoa até um quadro branco do tamanho de uma parede.
No segundo vídeo, outro funcionário pede ao robô que siga as instruções de um quadro. Ele desenha um mapa simples mostrando como chegar à Zona Azul. Mais uma vez, o robô pensa por um momento antes de seguir a rota especificada até um local que acaba sendo um local de testes de robótica. “Segui com sucesso as instruções no quadro”, relata o robô.
Antes de gravar os vídeos, os robôs foram familiarizados com o espaço por meio da solução Multimodal Instructional Navigation with Demonstration Tours (MINT). Graças a isso, o robô pode se movimentar pelo escritório de acordo com vários pontos de referência indicados pela fala. A DeepMind Robotics usou então um sistema hierárquico de Visão-Linguagem-Ação (VLA) “que combina a consciência ambiental com o poder do bom senso”. Após combinar os processos, o robô ganhou a capacidade de responder a comandos escritos e desenhados, bem como a gestos e navegar pela área.
Segundo o Google, em cerca de 90% das 50 interações com funcionários, os robôs seguiram com sucesso as instruções que lhes foram dadas.