Meta pesquisadores criam córtex visual artificial para dar visão aos robôs

Os pesquisadores da Meta* AI anunciaram hoje vários desenvolvimentos importantes relacionados à coordenação adaptativa de habilidades e à replicação do córtex visual que permitirão que os robôs de IA funcionem de forma autônoma no mundo real. Esses desenvolvimentos são um grande passo à frente na criação de uma “IA incorporada” universal capaz de interagir com o mundo real sem intervenção humana.

Fonte da imagem: Meta* AI

O córtex visual é a área do cérebro que permite que os organismos usem a visão para realizar ações. Assim, um córtex visual artificial é um requisito fundamental para qualquer robô que precise executar tarefas com base no que vê à sua frente. O córtex visual artificial VC-1 é treinado no conjunto de dados Ego4D, que contém milhares de horas de imagens de câmeras vestíveis de participantes do estudo em todo o mundo realizando atividades diárias, como cozinhar, limpar, praticar esportes e artesanato.

No entanto, o córtex visual é apenas um elemento da IA ​​incorporada. Para um robô operar de forma totalmente autônoma no mundo real, ele deve ser capaz de manipular objetos do mundo real – mover para um objeto, pegá-lo, movê-lo para outro local e colocar um objeto – e fazer tudo isso com base em o que vê e ouve.

Para resolver esse problema, os especialistas da Meta* AI, em colaboração com pesquisadores do Georgia Institute of Technology, desenvolveram uma nova tecnologia chamada ASC (Adaptive Skill Coordination), onde o treinamento ocorre em simulações e, em seguida, essas habilidades são transferidas para um ambiente real. robô. A Meta* demonstrou a eficácia do ASC em colaboração com o Boston Dynamics. O ASC foi integrado ao robô Spot, que possui recursos robustos de reconhecimento, navegação e manipulação, embora exija intervenção humana significativa.

Os pesquisadores se propuseram a criar um modelo de IA capaz de perceber o mundo usando sensores integrados por meio da API do Boston Dynamics. O ASC foi treinado pela primeira vez no simulador Habitat usando conjuntos de dados HM3D e ReplicaCAD contendo modelos 3D de mais de mil casas. Em seguida, o robô virtual Spot foi ensinado a se movimentar em uma casa desconhecida, pegar objetos, carregá-los e colocá-los no lugar certo. Posteriormente, esse conhecimento foi transferido para robôs Spot reais, que executavam automaticamente as mesmas tarefas, com base na representação recebida das instalações.

«Usamos dois ambientes do mundo real completamente diferentes nos quais Spot foi solicitado a reorganizar vários objetos – um apartamento de 185m² totalmente mobiliado e um laboratório universitário de 65m². Pesquisadores relatam. “ASC alcançou um desempenho quase perfeito, tendo sucesso em 59 de 60 episódios, superando instabilidades de hardware, falhas de seleção e obstáculos competitivos, como obstáculos em movimento ou caminhos bloqueados.”

Pesquisadores da Meta* hoje abrem o código do modelo VC-1, compartilhando detalhes sobre dimensionamento de modelos e tamanhos de conjuntos de dados. O próximo objetivo da equipe será tentar integrar o VC-1 com o ASC para criar um único sistema que esteja mais próximo da verdadeira IA encarnada.

* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal proferiu decisão final de liquidação ou proibição de atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.