O navegador Yandex aprendeu a copiar vozes e entonações originais ao dublar vídeos

O Yandex melhorou a função de tradução de vídeos online em seu navegador proprietário. As redes neurais usadas para isso agora podem traduzir as vozes e entonações originais dos personagens do vídeo. Devido a isso, os vídeos traduzidos no Yandex Browser soam como se seus personagens falassem russo. Nesta fase, a inovação diz respeito aos vídeos em inglês.

Fonte da imagem: yandex.ru

Para implementar a função mencionada, é utilizada uma nova rede neural, que analisa a fala em inglês, destacando o timbre, o ritmo, a entonação e reproduzindo-os ao dar voz à tradução. Isso foi alcançado treinando um grande modelo de linguagem em centenas de milhares de exemplos de áudio. A tradução aprimorada permitirá que os usuários experimentem emoções mais vívidas ao assistir a vídeos, especialmente aqueles em que as características de fala dos personagens são importantes, como gravações de apresentações ao vivo, esquetes, discursos de pessoas famosas, etc.

Além disso, o Yandex Browser começou a transmitir com mais precisão o significado do que é dito no vídeo. O algoritmo leva em consideração as características estilísticas da fala, fazendo com que as formulações se tornem mais naturais. A empresa lembrou que o modelo de IA YandexGPT, usado na tradução de vídeos, foi reconhecido como líder na qualidade da tradução do inglês para o russo com base nos resultados dos testes no benchmark DiBiMT.

A tradução de nova geração está disponível para usuários do Yandex Browser enquanto assistem a vídeos postados no YouTube, na pesquisa Yandex, no VK Video, no Zen e no Rutube. A função pode ser ativada por todos os usuários que efetuaram login no navegador usando o Yandex ID, e a tradução em si está disponível no painel que aparece ao visualizar vídeos no Yandex Browser.