O YouTube está testando uma tecnologia de inteligência artificial (IA) projetada para sincronizar os movimentos labiais dos falantes durante a tradução automática. Este desenvolvimento complementa o recurso de voz automática existente, que já utiliza IA para traduzir áudio.
De acordo com Buddhika Kottahachchi, chefe de produto de voz automática, a equipe teve que desenvolver ferramentas capazes de “modificar pixels na tela para corresponder à fala traduzida”. Para isso, o sistema analisa não apenas o formato dos lábios, mas também a posição dos dentes, expressões faciais, postura e outros parâmetros visuais. De acordo com a PCMag, na atual fase de testes, a tecnologia demonstrou os melhores resultados em vídeo Full HD. Seu desempenho é inferior em 4K, mas a qualidade pode ser melhorada até o lançamento oficial.
Como lembrete, o YouTube demonstrou o recurso pela primeira vez em um evento em setembro, mas a data de lançamento público ainda não foi anunciada. A versão inicial da ferramenta suporta sincronização labial para tradução para inglês, francês, alemão, espanhol e português. Os planos futuros incluem a expansão da cobertura para todos os idiomas suportados pelo sistema de duplicação automática, incluindo bengali, holandês, hebraico, hindi, indonésio, italiano, japonês, coreano, malaiala (uma língua dravídica), polonês, punjabi, romeno, russo, tâmil, télugo, turco, ucraniano e vietnamita. O preço deste recurso não foi divulgado.
Este recurso está atualmente em fase inicial de testes e o acesso é limitado a usuários selecionados da plataforma.