«O Yandex está integrando ativamente algoritmos baseados em redes neurais generativas em seus serviços. Para isso, os desenvolvedores criaram algoritmos de recomendação baseados em IA generativa, que serão implementados nos produtos da empresa. Com isso, os usuários dos serviços do Yandex economizarão tempo na busca por conteúdo e produtos, além de poderem ir além de seus hábitos.
Fonte da imagem: Yandex / yandex.ru/jobs/locations/vladivostok
«A inovação é que conseguimos implementar grandes modelos generativos em recsystems. Nas recomendações do Yandex Music, foi implementado um modelo de transformador com 126 milhões de parâmetros e um comprimento de histórico de 8192 (em termos de eventos na vida do usuário). Para efeito de comparação, antes, nossa configuração máxima tinha 19 milhões de parâmetros no codificador e processava 2000 eventos”, afirmou o Yandex.
A empresa observou que o algoritmo processa dados anonimizados sobre as ações dos usuários no serviço. Os desenvolvedores também acrescentaram que nenhum outro serviço de música utilizou essa abordagem. “Somos os primeiros no mundo a mostrar que é possível criar um modelo tão grande e com um histórico tão longo para recomendações musicais”, disse um representante da empresa.
Novos algoritmos foram integrados ao Yandex Music. Eles operam online e respondem instantaneamente às ações do usuário, levando em consideração um número maior de parâmetros. Posteriormente, apareceram no Yandex Market e, posteriormente, serão adicionados a outros serviços da empresa, como Kinopoisk e Lavka.
Nikolay Savushkin, chefe de tecnologias de recomendação da Yandex, observou que, nos últimos anos, a qualidade dos algoritmos de recomendação atingiu um patamar e, para elevá-los a um novo patamar, foi necessário implementar modelos generativos, o que está associado a um aumento no poder computacional. “Conseguimos desenvolver uma arquitetura neural mais eficiente em treinamento e que exige menos recursos, além de comprovar que o salto de qualidade que vemos no campo dos modelos de linguagem é possível em recomendações. Poucas empresas no mundo conseguiram resolver esse problema — como Google, Netflix e LinkedIn”, disse o Sr. Savushkin.
As redes neurais apareceram nas recomendações do Yandex Music em 2023. Agora, a plataforma de streaming se tornou o primeiro serviço da empresa a implementar modelos de IA atualizados que funcionam online. Os algoritmos analisam as necessidades humanas e geram recomendações no momento, mas levando em consideração as necessidades de longo prazo do usuário. Nesse contexto, as pessoas começaram a ouvir o My Wave com mais frequência e por mais tempo, onde apenas faixas recomendadas são tocadas. Os usuários também começaram a adicionar músicas e artistas que ouviram pela primeira vez à sua coleção com 20% mais frequência. Ao mesmo tempo, a diversidade das próprias recomendações aumentou 14%, e elas agora contêm mais faixas novas para os usuários.
«O Yandex Market se tornou mais um serviço da empresa ao qual novos modelos de IA já foram integrados. “Agora, dezenas de vezes mais ações anônimas do usuário são levadas em consideração — o equivalente a dados de dois anos de uso do serviço. Dessa forma, os algoritmos têm um contexto mais completo e o usuário recebe recomendações realmente necessárias. Durante os testes, os compradores começaram a adicionar 3% mais produtos relevantes à cesta do que antes. E as compras em categorias novas para as pessoas aumentaram 5%”, afirmou o Yandex.
A empresa também observou que, para garantir a operação estável de sistemas de recomendação baseados em modelos generativos, é necessária uma infraestrutura adequada, ou seja, uma grande quantidade de poder computacional e dados. Até recentemente, os algoritmos de recomendação funcionavam com base em modelos pequenos, que não são comparáveis em complexidade computacional aos modelos de linguagem de grande porte. Graças à nova arquitetura, o Yandex conseguiu implementar modelos mais pesados com um grande número de parâmetros. Além disso, parte do modelo generativo foi transferida para o cálculo online. Tudo isso permitiu melhorar significativamente a qualidade dos algoritmos de recomendação.
Segundo analistas, o lançamento de novos sistemas de recomendação nos produtos Yandex é um “passo muito importante” para o desenvolvimento da IA russa. Kirill Pshinnik, cofundador da Universidade Zerocoder, observou que apenas grandes empresas de bigtech, que possuem conjuntos impressionantes de dados de usuários e recursos computacionais suficientes para treinar grandes modelos de linguagem, podem se dar ao luxo de criar e lançar tais sistemas. Vladislav Kurenkov, chefe do grupo de pesquisa de Agentes Adaptativos do Instituto AIRI, acrescentou que escalar modelos generativos em sistemas de recomendação é uma tarefa complexa. “Existe um alto limiar de entrada, pois para escalar um modelo e, ao mesmo tempo, manter ou melhorar sua eficiência, são necessárias enormes quantidades de dados, recursos computacionais significativos e expertise”, observou o Sr. Kurenkov.