A divisão de nuvem da Yandex (Yandex Cloud) anunciou o desenvolvimento de um novo sistema baseado em aprendizado de máquina, capaz de reconhecer mais de 10 idiomas estrangeiros simultaneamente.
Fonte da imagem: Yandex
O modelo é baseado no serviço de síntese e reconhecimento Yandex SpeechKit e em uma arquitetura especializada chamada Transformer. Os algoritmos processam as palavras de entrada em paralelo e independentemente umas das outras, para que aprendam rapidamente.
O sistema reconhece a fala em qualquer tópico e em diferentes formatos: podem ser frases curtas e longas, nomes, endereços, datas, etc. O modelo é capaz de reconhecer o idioma automaticamente em um fluxo: a rede neural pode alternar entre diferentes idiomas a qualquer momento. Ao mesmo tempo, é possível dar “dicas” a ela – isso melhora a qualidade do reconhecimento.
Para treinar o modelo, foram usados enormes arrays de dados (dezenas de terabytes) de fontes profissionais, bem como dos serviços e aplicativos do próprio Yandex. A rede neural poliglota pode trabalhar com idiomas populares como inglês e francês, bem como com outros mais raros como dinamarquês, finlandês, turco e outros.