NVIDIA compartilha como ajudou a tornar o Microsoft Cloud AI Translator mais eficiente

O Microsoft Translator, um serviço de tradução automática multilíngue baseado em nuvem, usa um dos maiores modelos de inteligência artificial do mundo para ajudar um grande número de pessoas a se comunicarem em vários idiomas. Os desenvolvedores continuam desenvolvendo o serviço e os servidores de inferência NVIDIA Triton (saída de dados do modelo), que fazem parte da plataforma NVIDIA AI Enterprise 2.0, os ajudam nisso.

Fonte da imagem: NVIDIA

O objetivo final dos desenvolvedores do Microsoft Cloud Translator é eliminar as barreiras de idioma usando a mesma API que já é usada ativamente para criar produtos diferentes. Considerando que cerca de 7 mil idiomas são usados ​​em todo o mundo, o objetivo dos desenvolvedores pode ser chamado de muito ambicioso.

Para resolver esse problema, os desenvolvedores usaram uma ferramenta poderosa e complexa – uma mistura de especialistas (MoE), que é um método de aprendizado de máquina em que várias redes de especialistas são usadas para dividir uma área problemática em áreas homogêneas. O modelo MoE fornece avanços significativos no processamento de linguagem natural, mas também é muito computacionalmente intensivo.

Os desenvolvedores usaram os sistemas NVIDIA Triton para construir um modelo único para várias tarefas de compreensão de texto, como resumo, geração de texto e tradução. Normalmente, diferentes modelos de IA são usados ​​para realizar tarefas individuais. O algoritmo da Microsoft divide grandes tarefas em muitas menores, e o recurso de lote dinâmico do Triton permite que essas várias solicitações sejam combinadas para obter o máximo da CPU.

Apesar da complexidade dos testes, desenvolvedores da NVIDIA e da Microsoft conseguiram obter um protótipo finalizado do modelo de IA em menos de um mês. Após a conclusão da fase de testes, o algoritmo será gradualmente integrado ao serviço de nuvem, onde na fase inicial está previsto ser usado para traduzir documentos para vários dos idiomas mais comuns.