Yandex implementou tradução automática de locução de qualquer vídeo em inglês

Yandex apresentou oficialmente uma tecnologia para tradução e dublagem de qualquer vídeo na Internet, que é baseada em aprendizado de máquina. O sistema combina tradução automática, tecnologias biométricas, além de reconhecimento e síntese de voz. A nova tecnologia permitirá que os usuários do Yandex Browser assistam a vídeos em um idioma estrangeiro com narrações geradas automaticamente.

Imagem: Yandex.

Diversas equipes de desenvolvimento trabalharam na criação de um protótipo da tecnologia. Como resultado, foi obtido um sistema que determina automaticamente o gênero do locutor no vídeo para preparar a voz adequada. Para uma comparação mais precisa da tradução com a imagem, o tradutor pausa e acelera a fala nos lugares certos. A velocidade da fala do tradutor é monitorada e ajustada por um algoritmo especial.

«Há muito conteúdo útil na Internet que é inacessível para as pessoas devido à barreira do idioma. E estamos perto de finalmente apagar todas as fronteiras. O Yandex Browser já consegue traduzir textos há muito tempo, este ano começou a traduzir imagens, e a tradução de vídeos é a próxima etapa. Esta é uma tarefa grande e difícil que ninguém no mundo ainda resolveu. Também estamos no início da estrada, mas já temos um protótipo e uma compreensão de para onde ir em seguida ”, diz David Talbot, chefe de processamento de linguagem natural da Yandex.

Nesta fase, a tecnologia de tradução funciona apenas com vídeos em inglês. Os desenvolvedores o testaram em vídeos de vários tópicos, incluindo vídeos sobre mudanças climáticas, aprendizado de máquina, etc. Você pode ver como o protótipo da tecnologia de tradução funciona agora.