Cientistas do Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) do MIT demonstraram que, à medida que os conjuntos de dados crescem, a conexão entre o que um modelo aprende e o que ele gera praticamente desaparece. Isso demonstra que as reivindicações dos detentores de direitos autorais contra os laboratórios de IA são infundadas.
Fonte da imagem: news.mit.edu
Cientistas americanos descobriram o fenômeno da “decadência da atribuição”, no qual quanto mais dados são usados para treinar um modelo generativo de inteligência artificial, menos significativo se torna qualquer elemento específico nos dados de treinamento para qualquer resultado específico. Em uma escala suficientemente grande, é possível remover completamente qualquer imagem individual, todas as imagens de um determinado artista ou todas as fotografias de uma determinada pessoa dos dados de treinamento, e a imagem gerada pelo modelo permanecerá inalterada.
Provar isso na prática era difícil. Geralmente, para descobrir qual seria a resposta do modelo a uma consulta específica se ele nunca tivesse visto uma determinada imagem, seria necessário treinar exatamente o mesmo modelo sem essa imagem e repetir o experimento; e então repetir o processo para a próxima imagem nos dados de treinamento. Portanto, os cientistas propuseram uma solução alternativa — uma arquitetura de “conjunto de difusão” criada por eles mesmos. Não se trata de um modelo monolítico único, mas sim de uma multiplicidade de componentes menores, cada um treinado em um conjunto de dados separado. Neste caso, para descobrir como o modelo se comportaria sem uma imagem específica nos dados de treinamento, basta desativar as partes do conjunto que a visualizaram. Os resultados deste sistema foram comparados com os de 24 modelos de difusão convencionais treinados com os mesmos dados. As imagens apresentaram desempenho igualmente bom, segundo as métricas padrão.
Os cientistas concluíram que quanto maior o volume de dados de treinamento, melhor o desempenho dos conjuntos em comparação uns com os outros.com análogos baseados em um único modelo. Durante a análise, enviaram uma única consulta a um grupo de modelos, removeram uma imagem de cada conjunto de dados de treinamento e compararam as discrepâncias nos resultados. Com base nesse experimento, introduziram o conceito de “raio contrafactual” — a influência máxima que um único elemento no conjunto de dados de treinamento poderia ter. Como resultado, os pesquisadores estabeleceram um padrão: quanto maior o conjunto de dados de treinamento, menor o raio contrafactual. Em outras palavras, menor a influência de qualquer elemento específico. Os resultados foram comparados pixel a pixel e por significado semântico geral.
De uma perspectiva legal, essa descoberta significa que os modelos de IA demonstram uma abordagem verdadeiramente criativa — eles não copiam material dos dados originais, mas geram resultados totalmente novos. E se esses resultados não tiverem nada em comum com elementos individuais do conjunto de dados de treinamento, então o uso do conteúdo, mesmo que protegido por direitos autorais, é considerado uso justo, mesmo sem consultar o detentor dos direitos autorais. Essa abordagem ainda não foi testada em modelos de linguagem.