A nova função é apresentada pelo “Yandex” em um navegador de design próprio. Agora ele teve a oportunidade de traduzir vídeos do chinês para o russo. Para treinamento, a rede neural utiliza uma enorme variedade de vídeos em chinês, analisando os dados recebidos.
Fonte da imagem: Yandex
A tradução é realizada em várias etapas. Ao mesmo tempo, a rede neural leva em consideração o tom e o contexto da fala no stream de vídeo. A empresa enfatizou que a IA é capaz de distinguir quatro tons – esses recursos fonéticos da pronúncia podem alterar significativamente o significado de quase qualquer declaração em chinês. Além disso, o sistema Yandex distingue 6,5 mil hieróglifos.
Segundo Vedomosti, a empresa usou 100.000 vídeos com legendas em chinês do norte, o idioma mais comum na China, para treinar IA.
Para que o visualizador use a tradução do chinês para o russo, você deve clicar no botão “Traduzir vídeo” no Yandex.Browser. É relatado que a tecnologia já pode ser usada no YouTube.
Anteriormente, foi relatado que o Yandex introduziu uma tradução de vídeo fora da tela com várias vozes e a possibilidade de tradução simultânea de transmissões ao vivo.
Quatro redes neurais participam da tradução de vídeo ao mesmo tempo. Um deles reconhece a fala com posterior conversão para o formato de texto, outro identifica o gênero do locutor por meio de dados biométricos, o terceiro determina em que locais é necessário colocar sinais de pontuação e destacar fragmentos semânticos. Finalmente, o quarto traduz o texto.