Em fevereiro, o fundador do serviço de busca chinês Sogou (parte da Tencent), Wang Xiaochuan, escreveu na rede social Weibo que “a China precisa de sua própria OpenAI”. O empresário não atrasou a implementação do plano – sua startup Baichuan Intelligence criou e disponibilizou ao público um grande modelo de linguagem de inteligência artificial Baichuan-13B.
Fonte da imagem: Gerd Altmann / pixabay.com
A Baichuan é considerada uma das desenvolvedoras mais promissoras de grandes modelos de linguagem da China, fundada por um graduado da Universidade de Tsinghua que criou o serviço de busca Sogou, que mais tarde foi adquirido pela gigante tecnológica local Tencent. Wang deixou Sogou no final de 2021. Quando a plataforma ChatGPT já era sensação mundial, o empresário lançou a startup Baichuan e prontamente levantou investimentos de US$ 50 milhões.
Como o nome indica, o grande modelo de linguagem Baichuan-13B treinado em chinês e inglês na arquitetura Transformer (também subjacente ao GPT) possui 13 bilhões de parâmetros – variáveis que são usadas na geração de texto. O código-fonte da plataforma é postado no GitHub e otimizado para uso comercial. Baichuan-13B foi treinado em 1,4 trilhão de tokens – para comparação, o modelo Meta* LlaMa com os mesmos 13 bilhões de parâmetros foi treinado em 1 trilhão de tokens.
A startup Baichuan está crescendo em um ritmo incrível. A empresa, inaugurada em abril, ampliou sua equipe para 50 pessoas até o final do mês e, em junho, publicou o primeiro grande modelo de linguagem Baichuan-7B com 7 bilhões de parâmetros. O novo Baichuan-13B está disponível gratuitamente para cientistas e desenvolvedores que receberam permissão para usá-lo para fins comerciais. Vale ressaltar que os criadores levaram em consideração as sanções antichinesas impostas pelos Estados Unidos, e o modelo pode rodar em sistemas com componentes de consumo, incluindo placas de vídeo NVIDIA GeForce RTX 3090.
* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal tomou uma decisão final para liquidar ou proibir atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.