A rede neural chinesa WuDao 2.0 com 1,75 trilhão de parâmetros supera os análogos do Google e OpenAI

Cientistas chineses da Academia de Inteligência Artificial de Pequim (BAAI), junto com dezenas de colegas de outras organizações, criaram o modelo de processamento de linguagem natural (PNL) mais sofisticado do mundo que supera os do Google e OpenAI. A rede neural generativa de aprendizagem profunda WuDao 2.0 foi criada como parte do desejo da China de aumentar sua competitividade tecnológica no cenário global.

Imagem: Xinhua

WuDao 2.0 é um modelo de IA pré-treinado que usa 1,75 trilhão de parâmetros. Em comparação, o modelo GPT-3 da OpenAI usa 175 bilhões de parâmetros, enquanto o Google Switch Transformer apresentou em janeiro 1,6 bilhão de parâmetros. Os parâmetros são variáveis ​​definidas por modelos de aprendizado de máquina. À medida que o modelo se desenvolve, os parâmetros são refinados, seu número aumenta, o que aumenta a precisão do algoritmo e seu desempenho.

Os desenvolvedores mostraram como WuDao 2.0 usa seus recursos para simulação de fala, escrita de poesia, reconhecimento de imagem e geração de texto. De acordo com os dados disponíveis, o WuDao 2.0 foi treinado em inglês e chinês, para o qual os pesquisadores usaram 4,9 TB de imagens e texto, incluindo 1,2 TB de texto em inglês e chinês.

«Esses modelos complexos treinados em conjuntos de dados gigantescos requerem apenas uma pequena quantidade de novas informações para dominar uma função específica porque eles podem usar o que aprenderam para realizar novas tarefas ”, disse o cientista do BAAI Blake Yan.