Rede neural de imagem no meio da jornada foi interrompida gratuitamente devido a abuso de deepfake

Midjourney fechou o acesso gratuito à sua rede neural homônima, que permite gerar imagens a partir de uma descrição de texto. Isso aconteceu depois que os usuários começaram a usar ativamente a rede neural para criar deepfakes com a participação de personalidades famosas.

Fonte da imagem: Midjourney

O fundador e CEO da Midjourney, David Holz, anunciou em um canal oficial do Discord que a empresa está fechando o programa de teste gratuito “devido à demanda extrema e também ao abuso do usuário”. Segundo Holtz, as novas regras de segurança da rede neural Midjourney foram “insuficientes” para evitar o uso indevido do gerador de imagens AI durante o período de teste. A partir de agora, os usuários do Midjourney terão que pagar US$ 10 por mês para usar a tecnologia.

De acordo com o The Washington Post, Midjourney tem sido o foco de atenção indesejada ultimamente. Os usuários, usando a rede neural especificada, começaram a criar imagens falsas da prisão do ex-presidente dos Estados Unidos Donald Trump, bem como imagens do Papa Francisco andando com uma jaqueta da moda. Embora essas imagens tenham sido rapidamente desmascaradas como falsas, os invasores podem usar redes neurais generativas como Midjourney, DALL-E da OpenAI e similares para espalhar desinformação online.

Midjourney reconheceu que as regras para usar algoritmos de IA para criar imagens precisam ser aprimoradas. Em 2022, Holtz proibiu o uso de Midjourney para criar deepfakes com o líder chinês Xi Jinping. Ele explicou isso pelo fato de que o acesso ao mercado chinês para a empresa é mais importante do que a capacidade dos usuários de criar conteúdo satírico. Falando aos usuários no Discord nesta quinta-feira, Holtz lamentou que moldar a política em torno da criação de conteúdo de IA com o Midjourney tenha sido ainda mais complicado pelo fato de que a IA agora é capaz de criar imagens ainda mais realistas. Apesar disso, a empresa continuará melhorando a moderação do conteúdo de IA e identificando casos de abuso em sua criação, acrescentou.

Alguns desenvolvedores de redes neurais para geração de imagens já introduziram regras mais rígidas quanto ao seu uso. Por exemplo, OpenAI proibiu a criação de qualquer imagem que esteja de alguma forma relacionada a eventos políticos atuais, políticos e teorias da conspiração. Ela também baniu conteúdo relacionado a ódio, violência e sexo. No entanto, outros ainda aderem a regras mais flexíveis. A Stability AI não permite que a rede neural Stable Diffusion copie estilos ou crie as chamadas imagens “não seguras para o trabalho”. No entanto, em geral, a empresa não dita aos usuários quais imagens podem ou não ser criadas.