Escassez de HDD vem de fonte inesperada – maior telescópio do mundo gerará 600 PB de dados por ano

As notícias dos últimos dois anos têm sido repletas de relatos sobre novos data centers criados exclusivamente para tarefas de IA. Nesse contexto, os mesmos astrônomos parecem órfãos, embora os instrumentos mais recentes para observar o Universo também produzam quantidades incríveis de dados. O novo radiotelescópio Square Kilometre Array (SKA), com conjuntos de antenas na África do Sul e na Austrália, gerará até 600 PB de dados anualmente, que precisarão não apenas ser armazenados em algum lugar, mas também enviados para todos os cantos do mundo.

Fonte da imagem: AI Generation Grok 3/avalanche noticias

O processamento primário dos dados dos conjuntos de antenas ocorrerá em centros de dados diretamente nos radiotelescópios: da área de antenas para médias frequências, na África do Sul, e da área de antenas para baixas frequências, na Austrália. Os dados serão então transmitidos para supercomputadores locais para calibração e preparação de dados científicos, que poderão ser trabalhados sem necessidade de conhecimento especial. Em seguida, será realizada a operação “dados para cientistas”, durante a qual conjuntos idênticos serão transmitidos para centros de dados regionais para que o tráfego não obstrua todos os canais de comunicação.

O fluxo de dados do SKA será um dos maiores da história e atingirá 600 PB por ano, e ainda mais quando o instrumento estiver totalmente operacional em 2029. O download dessa quantidade de dados por um “canal típico de internet” a uma velocidade de 100 MB/s levará 200 anos. Para tornar as informações coletadas pelo telescópio SKA acessíveis, a maioria dos países participantes do projeto criará até 20 ou mais Centros Regionais (SRCs) dedicados ao SKA. Foi anunciado recentemente que as Américas do Norte e do Sul receberão um único SRC, localizado no Canadá.

Os astrônomos modernos não precisam passar a noite inteira sentados ao ar livre, perto de telescópios. Todas as informações serão enviadas diretamente para um computador de trabalho em qualquer lugar do mundo, em um horário conveniente do dia ou da noite. A desvantagem dessa conveniência é o aumento significativo dos custos de armazenamento e processamento de dados. E esses custos continuarão a crescer.

Novos instrumentos estão sendo gradualmente introduzidos em operação, como o Observatório Vera K. Rubin, com a maior câmera digital, medindo 3 × 1,65 m.Uma câmera de 3,2 gigapixels que produzirá até 16 PB de dados brutos a cada ano (até 7 PB após o processamento), o Telescópio Espacial Nancy Grace Roman, programado para ser lançado em 2027 com até 5 PB de dados anuais, e outros instrumentos exigirão poder de computação que os cientistas são forçados a arrancar de uma inteligência artificial moderna com utilidade duvidosa, mas ambições incríveis.