Sber ensinou o GigaChat a criar músicas exclusivas com base na descrição do texto

«Sber ensinou seu chatbot AI GigaCgat a gerar composições musicais com base em solicitações de texto do usuário. A notícia foi compartilhada por Denis Filippov, vice-presidente de superfícies digitais “Salyut” do Sberbank, na conferência internacional sobre inteligência artificial AI Jorney 2023. As capacidades do serviço foram ampliadas com a integração das redes neurais CLaMP e SymFormer.

Para criar música, uma pessoa pode simplesmente formular uma tarefa. Por exemplo, defina a seguinte descrição: “Componha música country divertida” ou “Escreva uma composição para a área lounge de um business center”. Como resultado, o GigaChat criará um arquivo de áudio com uma faixa musical exclusiva, bem como uma partitura em formato MIDI, compatível com qualquer DAW (Digital Audio Workstation). Depois disso, o usuário poderá baixar e ouvir a música resultante, além de utilizar o arquivo MIDI em seus projetos criativos: editar harmonias, alterar o arranjo e obter diversas opções de som para a composição.

A geração de música é possível no GigaChat graças à integração das redes neurais CLaMP e SymFormer. Para o j,extybz SymFormer, utilizamos a plataforma ML Space baseada no supercomputador Christofari e um conjunto de dados de mais de 200 mil composições de diferentes estilos musicais: da música clássica à moderna eletrônica e pesada. O modelo de geração de composição baseia-se no princípio de considerar a música como um texto musical – isto foi ajudado pela adaptação da abordagem texto-2-imagem ao domínio musical.

Observa-se que a criação das faixas musicais ocorre em diversas etapas:

Usando o modelo CLaMP, a solicitação de texto do usuário é convertida em uma linguagem compreensível para o gerador de melodia.

Os dados do CLaMP, incluindo informações de estilo, são inseridos no SysFormer, que gera diversas opções para uma composição multitrilha, a partir da qual a rede neural seleciona as opções de estilo de maior sucesso.

Na última etapa da geração, o mecanismo de renderização gera um arquivo de áudio e envia o resultado ao usuário.

«Os novos recursos do GigaChat serão úteis não apenas para entusiastas da música e representantes de profissões criativas. Vemos os representantes das pequenas e médias empresas como um dos segmentos do público-alvo do serviço. Graças ao GigaChat, eles poderão resolver problemas de negócios de forma rápida, eficiente e, o mais importante, de forma absolutamente legal: criar música de fundo para cafés, salas de espera e salões de beleza, criar melodias para vídeos publicitários e redes sociais”, explica Denis Filippov.

Recordemos que no início deste outono, no âmbito do programa cultural do Fórum Económico Oriental (EEF), teve lugar em Vladivostok o primeiro concerto sinfónico do mundo com improvisações criadas pela inteligência artificial. A rede neural SymFormer se apresentou neste concerto junto com a orquestra do Teatro Mariinsky do Palco Primorsky. No primeiro movimento da sinfonia Cosmos, escrita pelo compositor Petr Dranga, SymFormer controlou a expressividade da execução. No terceiro e quarto movimentos da sinfonia, a rede neural improvisou em tempo real com base nas informações recebidas da partitura do músico.