Nvidia treina robôs humanóides usando o fone de ouvido Apple Vision Pro

A Nvidia está usando o headset de realidade aumentada Apple Vision Pro para desenvolver um robô humanóide, escreve 9to5Mac. Os desenvolvedores treinam o modelo de IA do robô humanóide do Projeto GR00T usando dados reais e sintéticos, permitindo-lhes economizar tempo e reduzir custos.

Fonte da imagem: 9to5Mac

O treinamento de modelos básicos de IA para robôs humanóides requer enormes quantidades de dados. Uma das formas de capturar (digitalizar) movimentos humanos é o telecontrole – a operação de um robô no modo de copiar movimentos humanos, que está se tornando um processo cada vez mais caro e demorado, observou a Nvidia.

No mês passado, a Nvidia apresentou na conferência de computação gráfica SIGGRAPH um fluxo de trabalho de telecontrole de referência usando Nvidia AI e Nvidia Omniverse que permite que pesquisadores e desenvolvedores de IA gerem grandes quantidades de dados sintéticos de movimento e percepção a partir de uma quantidade mínima de movimento humano capturado remotamente.

E é para capturar movimentos humanos que o headset de realidade aumentada Apple Vision Pro é usado. Depois de gravar um pequeno número de demonstrações de telecontrole usando o Apple Vision Pro, os desenvolvedores modelam os dados no NVIDIA Isaac Sim, um aplicativo de referência para projetar, simular, testar e treinar robôs de IA, e usam o microsserviço MimicGen NIM para gerar conjuntos sintéticos de dados a partir de registros . Ou seja, ampliam a base de dados com uma demonstração real de movimentos com conjuntos de dados sintéticos.

Usando o banco de dados resultante, o modelo do robô humanóide do Projeto GR00T está sendo treinado. Os desenvolvedores então usam o microsserviço Robocasa NIM no Isaac Lab, uma estrutura de aprendizagem de robôs, para gerar experiências para treinar novamente o robô.