A Nvidia revelou um novo modelo experimental de IA generativa que a empresa descreve como um “canivete suíço para áudio”. O modelo Fugatto (Fundational Generative Audio Transformer Opus 1) usa prompts de texto para gerar arquivos novos ou modificar arquivos de música, voz e áudio existentes. Desenvolvedores de todo o mundo participaram da criação do modelo, o que fortaleceu as “capacidades multi-sotaques e multilíngues do modelo”.
Fonte da imagem: NVIDIA
«Queríamos criar um modelo que entendesse e gerasse som da mesma forma que os humanos”, disse o participante do projeto e gerente de pesquisa aplicada de áudio da Nvidia Rafael Valle. A empresa propôs vários cenários em que o modelo Fugatto pode ser procurado:
- Os produtores musicais podem criar rapidamente um protótipo de música que pode ser facilmente editado experimentando diferentes estilos, vozes e instrumentos.
- O Fugatto pode ser usado para criar ferramentas de aprendizagem de idiomas com a escolha da voz mais adequada.
- Os desenvolvedores de videogames podem usá-lo para criar variações de recursos pré-gravados para corresponder às mudanças no jogo com base nas escolhas e ações do jogador.
Os pesquisadores afirmam que o modelo, com alguns ajustes adicionais, também pode realizar tarefas que não faziam parte do seu treinamento anterior. O modelo pode combinar instruções separadas, por exemplo, gerando uma fala com certa entonação e sotaque, ou o som de pássaros cantando durante uma tempestade. O modelo também pode gerar sons que mudam com o tempo, como o som de uma tempestade que se aproxima ou de um trem em movimento.
Fugatto não é a primeira tecnologia generativa de IA que pode criar sons a partir de prompts de texto. Meta✴ lançou anteriormente um modelo semelhante de IA de código aberto. O Google oferece sua própria ferramenta de conversão de texto em música de IA, MusicLM, que pode ser acessada através do site AI Test Kitchen da empresa.
A Nvidia ainda não disponibilizou acesso público ao Fugatto e se absteve de comentar o assunto.