Anteriormente, foi relatado que o bot de IA Grok, da xAI, estava inundando a rede social X com deepfakes de conteúdo sexual explícito, gerados sem o consentimento dos usuários. Agora, surgiram dados específicos que nos permitem avaliar a dimensão do problema.
Fonte da imagem: Engadget
Segundo o Engadget, o Grok gerou aproximadamente 3 milhões de deepfakes com conteúdo sexual explícito ao longo de 11 dias, sendo que cerca de 23.000 deles continham imagens de menores. Em outras palavras, o Grok gerou aproximadamente 190 imagens com conteúdo sexual explícito por minuto durante esses 11 dias.
Esta semana, o Centro para o Combate ao Ódio Digital (CCDH), uma organização sem fins lucrativos sediada no Reino Unido, publicou suas descobertas sobre o assunto, com base em uma amostra aleatória de 20.000 imagens geradas pelo Grok entre 29 de dezembro e 9 de janeiro. Os pesquisadores da organização também extrapolaram as descobertas para criar uma estimativa maior, considerando os 4,6 milhões de imagens geradas pelo Grok durante esse período.
O estudo definiu deepfakes sexualmente explícitos como “imagens fotorrealistas de uma pessoa em poses, ângulos ou situações sexualmente explícitas; uma pessoa de roupa íntima, maiô ou roupas reveladoras semelhantes”, etc. O estudo do CCDH não levou em consideração os textos explicativos, portanto, os resultados não diferenciam entre deepfakes criados a partir de fotos reais e aqueles gerados apenas a partir de descrições textuais. Um algoritmo de IA foi usado para determinar a proporção de imagens sexualmente explícitas na amostra.
A xAI limitou a capacidade de editar fotos reais usando o Grok para usuários gratuitos do X no início de 9 de janeiro. No entanto, isso não resolveu o problema; apenas tornou o recurso premium. Alguns dias depois, em 14 de janeiro, o X restringiu completamente a capacidade do Grok de “despir” pessoas em imagens reais. Essa restrição se aplicava apenas à própria rede social.O problema não se estendeu ao aplicativo independente Grok. De acordo com a fonte, o aplicativo ainda permite a criação de deepfakes com conteúdo sexual explícito. Como é distribuído pelas lojas de aplicativos do Google e da Apple, cujas políticas proíbem explicitamente esse tipo de conteúdo, seria de se esperar que o aplicativo fosse removido dessas plataformas, mas isso não aconteceu. Enquanto isso, outros geradores de IA semelhantes para “despir” pessoas já foram prontamente removidos das lojas de aplicativos da Apple e do Google.