“Nosso conteúdo é gratuito, mas nossa infraestrutura não”: robôs de IA estão arruinando a Wikipédia

«A Wikipédia paga o preço pelo boom da IA ​​- a enciclopédia online enfrenta custos crescentes com bots que copiam seus artigos para treinar modelos de IA, desperdiçando recursos e aumentando drasticamente o tráfego e a carga no site. Somente nos últimos três meses, o tráfego gerado pelos rastreadores de IA cresceu 50%.

Fonte da imagem: “Wikipédia”

A Wikimedia Foundation (a organização sem fins lucrativos que administra a Wikipédia) disse que “as consultas automatizadas para nosso conteúdo cresceram exponencialmente”. Segundo a fundação, desde janeiro de 2024, a largura de banda usada para baixar conteúdo multimídia aumentou em 50%. No entanto, o tráfego não vem de humanos, mas de programas automatizados que constantemente baixam imagens com licença aberta para alimentar modelos de IA.

«Nossa infraestrutura foi projetada para suportar picos repentinos de tráfego humano durante eventos de alto interesse, mas o volume de tráfego gerado por robôs scraper não tem precedentes e apresenta riscos e custos crescentes”, disse a Wikipedia.

Os bots geralmente coletam dados de artigos menos populares da Wikipédia. Especialistas da Wikipédia afirmam que pelo menos 65% desse tráfego vem de bots, o que é desproporcionalmente grande, já que os bots são responsáveis ​​por cerca de 35% do total de visualizações de páginas. Os bots também demonstram interesse em “sistemas-chave em nossa infraestrutura de desenvolvimento, como nossa plataforma de revisão de código ou nosso rastreador de bugs”, o que sobrecarrega ainda mais os recursos do site.

«A Wikipédia foi forçada a impor limites de velocidade individuais aos bots de IA ou proibir completamente o acesso a alguns deles. Mas para resolver o problema a longo prazo, a fundação está desenvolvendo um plano de “Uso Responsável da Infraestrutura”. O plano inclui coletar feedback da comunidade da Wikipédia sobre maneiras de identificar tráfego de bots de IA e filtrar seu acesso.

A plataforma de mídia social Reddit enfrentou um problema semelhante em 2023. Por exemplo, a Microsoft usou os dados da plataforma para treinar modelos de IA sem notificar o Reddit, o que forçou o Reddit a banir os bots da Microsoft. Após esse incidente, o Reddit decidiu cobrar de desenvolvedores terceirizados pelo acesso à sua API. Isso levou a protestos massivos de desenvolvedores e ao fechamento de alguns fóruns populares do Reddit.