Tinkoff Research descobriu como acelerar o treinamento de inteligência artificial em 20 vezes

Cientistas do Laboratório de Inteligência Artificial da Tinkoff Research desenvolveram o SAC-RND, um novo algoritmo para treinamento de IA. Em simuladores robóticos, foi alcançado um aumento de 20 vezes na velocidade de aprendizado em comparação com todos os análogos existentes, com um aumento de 10% na qualidade. A otimização do processo de aprendizado de IA altamente intensivo em recursos acelerará o desenvolvimento de muitas áreas onde a IA é aplicada.

Fonte da imagem: Tinkoff

Os desenvolvedores afirmam que o SAC-RND pode “melhorar a segurança dos veículos não tripulados, simplificar as cadeias de abastecimento, acelerar a entrega e operação de armazéns, otimizar os processos de combustão nas instalações de energia e reduzir as emissões de substâncias nocivas ao meio ambiente. A descoberta não apenas melhora o trabalho de robôs altamente especializados, mas também nos aproxima da criação de um robô universal capaz de realizar qualquer tarefa sozinho”.

Os resultados do estudo foram apresentados no final de junho na 40ª Conferência Internacional sobre Machine Learning (ICML) em Honolulu, Havaí. Esta conferência é uma das três maiores do mundo na área de aprendizado de máquina e inteligência artificial.

Um dos tipos mais promissores de aprendizado de IA é o Aprendizado por Reforço (RL), que permite que a IA aprenda por tentativa e erro, adapte-se a ambientes complexos e mude o comportamento em movimento. O aprendizado por reforço pode ser usado em tudo, desde gerenciamento de congestionamento de tráfego até recomendações de mídia social.

Ao mesmo tempo, acreditava-se anteriormente que o uso de redes neurais aleatórias (RND) não é aplicável para o aprendizado por reforço offline. O método RND usa duas redes neurais – aleatória e principal, que tenta prever o comportamento da primeira. A propriedade de uma rede neural é determinada por sua profundidade – o número de camadas em que consiste. A rede principal deve conter mais camadas do que a aleatória, caso contrário a modelagem e o treinamento tornam-se instáveis ​​ou mesmo impossíveis.

O uso de tamanhos de rede incorretos levou à conclusão errônea de que o método RND não pode discriminar dados – distinguir ações do conjunto de dados de outras. Pesquisadores da Tinkoff Research descobriram que, ao usar a profundidade equivalente das redes, o método RND começa a distinguir qualitativamente os dados. Os pesquisadores então começaram a otimizar a entrada e ensinaram os robôs a encontrar soluções eficientes usando um mecanismo de fusão baseado na modulação de sinal e seu mapeamento linear. Antes disso, ao usar o método RND, os sinais de entrada não eram submetidos a processamento adicional.

Na visualização abaixo, a linha superior mostra as tentativas anteriores de aplicar o método RND e a linha inferior mostra o método SAC-RND. As setas na imagem devem levar o robô a um ponto – elas indicam a direção para a ação correta. O método Tinkoff Research leva consistentemente o robô ao ponto desejado em todos os casos

Visualização da tomada de decisão por robôs treinados com diferentes algoritmos. Fonte da imagem: Tinkoff Research

O método SAC-RND foi testado em simuladores robóticos e apresentou melhores resultados com menos recursos e tempo consumido. A descoberta ajudará a acelerar a pesquisa em robótica e aprendizado por reforço, pois reduz o tempo para um resultado estável em 20 vezes e é um passo importante para a criação de um robô universal.

Tinkoff Research é um grupo de pesquisa russo sem fins lucrativos. Cientistas da Tinkoff Research estão explorando as áreas mais promissoras da IA: processamento de linguagem natural (NLP), visão computacional (CV), aprendizado por reforço (RL) e sistemas de recomendação (RecSys). A equipe supervisiona o laboratório de pesquisa Tinkoff baseado no Instituto de Física e Tecnologia de Moscou e ajuda estudantes talentosos a fazer descobertas científicas.