Arquivar a internet está se tornando cada vez mais difícil: o Wayback Machine e o Wikimedia sofrem com a escassez de discos rígidos.

O arquivamento de dados da internet está se tornando cada vez mais difícil devido à escassez de espaço de armazenamento e ao aumento dos preços. Os discos rígidos triplicaram de preço devido à sua popularidade entre as grandes empresas. Isso complica bastante o trabalho de projetos como o Wayback Machine e a Wikimedia.

Fonte da imagem: Patrick Lindenberg / unsplash.com

O Internet Archive, uma organização sem fins lucrativos que visa proporcionar “acesso a todo o conhecimento para todos”, foi uma das organizações afetadas pela crise. A organização gerencia uma capacidade de armazenamento de aproximadamente 210 petabytes, com a Wayback Machine exigindo outros 100 terabytes diariamente. O boom da inteligência artificial transformou este projeto em um “desafio que consome muito tempo e dinheiro”, admitem seus líderes. Discos rígidos com capacidade de 28 a 30 terabytes são ideais para essa tarefa, mas frequentemente estão indisponíveis ou são vendidos a preços exorbitantes. Esses desafios são parcialmente mitigados pelos patrocinadores do projeto e pela comunidade — embora esta última ofereça apenas conselhos.

A Fundação Wikimedia, a organização sem fins lucrativos responsável pela Wikipédia, enfrenta desafios complexos: 65 milhões de artigos na plataforma exigem recursos significativos e, principalmente, uma alocação orçamentária cuidadosamente planejada, e a situação atual apenas agravou esses problemas. A organização enfrentou uma crise na aquisição de memória e discos rígidos, bem como nos prazos de entrega de servidores e na nossa capacidade de fazer pedidos futuros.

Outro problema é a crescente complexidade dos mecanismos de arquivamento de dados. Grandes modelos de linguagem de IA são treinados com quantidades massivas de dados, muitas vezes obtidos ilegalmente. Por causa disso, muitos proprietários de sites estão bloqueando o acesso a ferramentas de coleta de dados, sem conseguir distinguir entre bots de IA e serviços legítimos que coletam essas informações para fins educacionais. Esses bloqueios e o aumento dos custos de armazenamento estão afetando não apenas grandes organizações sem fins lucrativos, mas também entusiastas individuais.são forçados a reduzir a escala de suas atividades ou a suspendê-las completamente, aguardando que a situação se estabilize.