Pesquisadores de Stanford descobriram que o popular conjunto de dados LAION-5B, usado para treinar modelos generativos de IA e para difusão estável e Google Imagen, inclui centenas de referências a material de abuso sexual infantil (CSAM). Descobriu-se que o LAION-5B inclui pelo menos 1.679 imagens ilegais tiradas de postagens em mídias sociais e sites adultos populares.
Fonte da imagem: LAION
Os investigadores começaram a estudar o conjunto de dados LAION em setembro de 2023, procurando ver se continha material de abuso sexual infantil. Para este efeito, hashes ou identificadores de imagens foram enviados para plataformas de descoberta de CSAM, como PhotoDNA e Canadian Child Advocacy Centre.
Os pesquisadores de Stanford observaram que a presença de CSAM em um conjunto de dados de treinamento de IA não terá necessariamente um impacto negativo nos resultados dos modelos treinados. Porém, sempre existe a chance de o modelo estar utilizando algum material ilegal na geração das imagens. “A presença de casos repetidos e idênticos de CSAM também é problemática, especialmente devido à maior probabilidade de obtenção de imagens de vítimas específicas”, afirma o relatório.
LAION, a organização sem fins lucrativos que administra o conjunto de dados, disse que tem uma política de “tolerância zero” para conteúdo prejudicial e removerá temporariamente os conjuntos de dados da web. Segundo o site LAION, o conjunto de dados não é diretamente um repositório de imagens. É o resultado da indexação de recursos da Internet e contém links para imagens e texto alternativo.
A Stability AI disse que as políticas internas da empresa proíbem o uso indevido de suas plataformas. A empresa afirma que ao treinar seus modelos no conjunto de dados LAION-5B, utilizou apenas uma parte dos materiais, que foram selecionados incluindo segurança.
Os especialistas acreditam que será difícil remover completamente o conteúdo problemático dos modelos de IA treinados nele. Eles recomendam esperar que os modelos treinados no LAION-5B, como o Stable Diffusion 1.5, “sejam obsoletos e a difusão cesse sempre que possível”. O Google lançou uma nova versão do Imagen, mas não revelou em qual conjunto de dados ele foi treinado.
Os procuradores-gerais dos EUA apelaram ao Congresso para criar um comité para investigar o impacto da IA na exploração infantil e para proibir a criação de CSAM gerados por IA.