O Google DeepMind lançou uma nova versão do seu modelo de IA Gemini Robotics para robôs desconectados, o Gemini Robotics On-Device. Trata-se de um modelo de visão-linguagem-ação (VLA) com os mesmos recursos do modelo revelado em março, mas o Google afirma que é “pequeno e poderoso o suficiente para ser executado diretamente em um robô”.
Fonte da imagem: Google DeepMind
A robótica apresenta um desafio único para a IA, pois um robô não apenas existe no mundo físico, mas também modifica seu ambiente. Seja movendo blocos ou amarrando os cadarços, é difícil prever todas as situações possíveis que um robô pode encontrar. A abordagem tradicional para ensinar ações a um robô por meio de reforço era muito lenta, mas a IA generativa permite uma generalização muito maior.
O principal modelo de IA On-Device da Gemini Robotics ajuda robôs a realizar uma ampla gama de tarefas físicas sem qualquer treinamento prévio. Isso inclui generalizar para novos cenários, compreender e executar comandos de voz e realizar tarefas motoras finas.
Carolina Parada, líder de robótica do Google DeepMind, disse ao The Verge que o modelo original da Gemini Robotics utiliza uma abordagem híbrida que permite a execução tanto no dispositivo quanto na nuvem. O novo modelo, exclusivo para dispositivos, oferece grande parte da mesma funcionalidade sem conexão à internet.
Parada afirma que o Gemini Robotics On-Device é capaz de executar uma variedade de tarefas imediatamente, além de se adaptar a novos cenários em apenas 50 a 100 demonstrações no simulador de física MuJoCo.
Inicialmente, o modelo foi treinado apenas para os robôs ALOHA do Google, mas posteriormente foi adaptado para outros tipos, incluindo o robô humanoide Apollo da Apptronik e o Franka FR3 de dois braços. Segundo o Google, o Franka FR3 lidou com sucesso com novas tarefas e objetos com os quais não havia se deparado antes, como a montagem em uma esteira transportadora industrial.
«O modelo híbrido da Gemini Robotics ainda é mais potente, mas ficamos positivamente surpresos com a potência do modelo On-Device”, diz Parada. “Eu o consideraria um modelo básico ou uma solução para aplicativos que não têm uma conexão de internet estável.” Também pode ser útil para empresas com requisitos de segurança rigorosos.
O Google lançou o primeiro SDK Gemini Robotics para o modelo On-Device. O SDK permite que os desenvolvedores testem e ajustem o modelo. É a primeira ferramenta desse tipo lançada para os modelos VLA do Google DeepMind.