A inteligência artificial tem demonstrado progresso na aprendizagem de línguas raras e pouco conhecidas.

Modelos de inteligência artificial em larga escala começaram a reduzir ativamente a lacuna linguística em todo o mundo, com os modelos mais avançados obtendo sucesso significativo no processamento de idiomas raros que representavam desafios para os sistemas anteriores. A informação foi divulgada pela TechRadar, citando uma pesquisa da RWS.

Fonte da imagem: bennett tobias / unsplash.com

O modelo Google Gemini Pro obteve altas pontuações de desempenho (acima de 4,5 de 5) por seu conhecimento de kinyarwanda, um idioma falado por 12 milhões de pessoas em Ruanda, Uganda e República Democrática do Congo. Os autores do estudo atribuíram essa melhoria ao fato de que a IA frequentemente explora padrões estatísticos comuns entre idiomas. Modelos avançados não exigem mais conjuntos de dados enormes para cada idioma; a limitação de dados de treinamento é compensada por mecanismos de transferência entre idiomas. Outro fator positivo são as melhorias no tokenizador, uma ferramenta que divide as palavras da consulta em fragmentos chamados tokens. Tudo isso ajuda os modelos de IA a terem um desempenho melhor com idiomas raros e pouco conhecidos.

Durante o estudo, os especialistas descobriram um efeito de “deriva de benchmark”, no qual o desempenho dos modelos muda inesperadamente entre versões. Por exemplo, a versão mais recente do OpenAI GPT fica atrás de versões anteriores em diversas tarefas de geração de conteúdo, mesmo que sua antecessora fosse mais eficiente nas mesmas tarefas. O desempenho do tokenizador também pode variar significativamente entre gerações de modelos — um é 3,5 vezes mais eficiente que o outro ao trabalhar com determinados idiomas. Portanto, ao escolher um modelo para implantação em aplicações multilíngues, não é recomendável confiar em resultados de benchmarks de sistemas anteriores.

Até recentemente, muitos laboratórios de IA priorizavam o desempenho em inglês e em vários outros idiomas importantes do mundo; os modelos modernos demonstraram melhorias significativas nessas áreas.Os desenvolvedores estão começando a priorizar o alcance de um público amplo, e especialistas esperam que muitos sigam o exemplo. No entanto, uma classificação de 4,5 de 5 não garante proficiência real no idioma, e o suporte multilíngue ainda não se tornou uma necessidade. Os desenvolvedores estão recorrendo a materiais em idiomas menos comuns, em parte porque os recursos em inglês estão se esgotando. Mesmo assim, a IA continua a derrubar as barreiras linguísticas.