A Meta revelou um gerador de música AudioCraft AI de código aberto que cria áudio baseado inteiramente na consulta de texto de um usuário. O AudioCraft combina três modelos separados de IA: o MusicGen foi projetado para criar música e é treinado em “20.000 horas de música de propriedade da Meta ou licenciada especificamente para esse fim”, o AudioGen gera sons e efeitos ambientais e o EnCodec fornece processamento de áudio de qualidade.
Fonte da imagem: Pixabay
Os músicos experimentam o som eletrônico há muito tempo, mas os programas de computador criam música com base em amostras de som existentes. O áudio do AudioCraft é gerado apenas a partir do prompt de texto. A Meta forneceu aos jornalistas amostras de áudio geradas usando o AudioCraft. Efeitos sonoros como apitos, vento, sirenes e buzinas de carros soaram muito autênticos. Mas as partes da guitarra não pareciam naturais para os ouvintes.
No momento, a música gerada pelo AudioCraft é mais uma reminiscência de muzak (um termo ligeiramente depreciativo aplicado à maioria das formas de música de fundo, independentemente da fonte, “música de elevador”) ou ambiente atmosférico descomplicado, e não afirma ser o próximo grande pop bater. No entanto, a Meta acredita que o AudioCraft pode inaugurar uma nova onda de moda musical, assim como os primeiros sintetizadores fizeram.
A Meta reconheceu a dificuldade de construir modelos de IA para geração de música, uma tarefa que um porta-voz da empresa afirma ser muito mais difícil do que a geração de texto com IA como o Llama 2. A empresa acredita que o código-fonte aberto da AudioCraft ajudará a diversificar os dados usados para treinar isto.
«Entendemos que os conjuntos de dados usados para treinar nossos modelos não são muito diversos: a maioria das músicas de estilo ocidental, pares de áudio-texto com texto e metadados são escritos em inglês”, explicou o representante da Meta. “Ao compartilhar o código do AudioCraft, esperamos que seja mais fácil para outros pesquisadores testar novas abordagens para limitar ou eliminar o viés potencial e o uso indevido de modelos generativos”.
A Meta está longe de ser pioneira no campo da geração de áudio assistida por IA. O grande modelo de linguagem MusicLM do Google gera áudio com bastante sucesso, embora esteja disponível apenas para pesquisadores. Uma música gerada por IA com semelhança de voz com Drake e The Weeknd se tornou viral instantaneamente. Recentemente, Grimes permitiu o uso de sua imitação de voz em faixas de IA. Por sua vez, gravadoras e artistas já soaram o alarme, pois muitos modelos de IA podem usar materiais protegidos por direitos autorais para treinamento.
* Está incluído na lista de associações públicas e organizações religiosas em relação às quais o tribunal tomou uma decisão final para liquidar ou proibir atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “Sobre o combate ao extremismo atividade”.