Os engenheiros da Meta* falaram sobre o modelo de rede neural Voicebox, que possui uma ampla gama de recursos para trabalhar com fala oral: geração, edição ou estilização de acordo com um modelo. Os autores do projeto o descreveram como um avanço nos modelos de IA de fala.
Fonte da imagem: Meta*
O Voicebox lê o texto fornecido com alta qualidade ou processa uma gravação de voz já concluída, por exemplo, remove sons estranhos, como buzinas de carros e latidos de cachorro, mantendo o conteúdo e o estilo da fala. Se necessário, você pode até “reproduzir” um fragmento da gravação, corrigindo pontualmente, por exemplo, uma palavra pronunciada incorretamente. Seis idiomas são suportados: inglês, francês, alemão, espanhol, polonês e português. O Voicebox pode ser utilizado como intérprete simultâneo, transmitindo a voz e o modo de falar do interlocutor.
A modelo foi treinada em 50 horas de audiolivros, e isso foi o suficiente para ela dominar ao máximo as habilidades da fala oral: ela traça o perfil de sua voz e modo de falar com base em uma amostra de apenas dois segundos, após o que ela pode reproduzir com qualquer texto. Na prática, esses recursos podem ser úteis em aplicativos de metaverso, fornecendo vozes com som natural para assistentes virtuais e NPCs; ou para deficientes visuais – a modelo pode dublar letras nas vozes de seus autores.
A Meta* frequentemente torna seus modelos de IA públicos, mas não desta vez. A empresa não divulgou em quais materiais o Voicebox foi treinado e não se ofereceu para testar a tecnologia na prática – eles têm medo de abuso.
* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal proferiu decisão final de liquidação ou proibição de atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.