Em 10 anos, os aceleradores de IA terão terabytes de HBM e consumirão 15 kW – isso mudará a abordagem para design, energia e resfriamento de data centers

Os chips de IA da próxima geração não serão apenas mais rápidos, mas também consumirão quantidades sem precedentes de energia e exigirão uma reformulação radical da infraestrutura dos data centers. Segundo cientistas, até 2035, o consumo de energia dos aceleradores de IA poderá chegar a cerca de 15 kW, o que colocará em questão a capacidade da infraestrutura moderna de data centers de suportá-los, relata a Network World.

Pesquisadores do TeraByte Interconnection and Package Laboratory (TeraLab), um laboratório subordinado ao Instituto Coreano de Ciência e Tecnologia Avançada (KAIST), calcularam que a transição para o HBM4 ocorrerá em 2026 e, em 2038, o HBM8 surgirá. Cada etapa do desenvolvimento proporcionará um aumento no desempenho, mas, com isso, os requisitos de energia e resfriamento também aumentarão. O laboratório acredita que a potência de uma única GPU aumentará de 800 W para 1.200 W até 2035. Quando combinada com 32 pilhas HBM, cada uma consumindo 180 W, a potência total pode aumentar para 15.360 W (a tabela abaixo mostra o cálculo para pilhas HBM8, não para HBM7 – nota do editor).

Espera-se que módulos HBM8 individuais forneçam uma capacidade de até 240 GB e uma largura de banda de memória de até 64 TB/s. O acelerador pode fornecer um total de cerca de 5 a 6 TB de HBM com uma largura de banda de memória de até 1 PB/s. Isso levará a uma mudança no design do próprio acelerador. O elemento-chave serão as pilhas HBM — processadores, controladores e aceleradores serão integrados em um único substrato com módulos HBM. É possível uma transição para o encapsulamento 3D usando substratos interposer de dupla face ou mesmo vários interposers em diferentes “andares” de cristais.

Fonte da imagem: KAIST

Além disso, novos sistemas de resfriamento precisarão ser desenvolvidos para aceleradores. Além dos já tradicionais sistemas de resfriamento direto a líquido (DLC) e de imersão em líquido, provavelmente será necessário adicionar sistemas de dissipação de calor integrados diretamente aos pacotes de chips. Conexões líquidas through-hole (F-TSVs) também serão usadas para remover o calor de chips multicamadas, conexões Cu-Cu sem emendas, sensores térmicos em cristais e sistemas de controle inteligentes que permitem que os chips se adaptem a mudanças de temperatura.

No nível do data center, tanto o circuito de resfriamento quanto o zoneamento de temperatura de toda a instalação serão alterados. A KAIST enfatiza que as instalações na maioria das regiões simplesmente não serão capazes de suportar alta densidade de capacidade. Enquanto os hiperescaladores reservam gigawatts para as próximas décadas, as concessionárias regionais precisarão de 7 a 15 anos para modernizar as linhas de energia. E em alguns lugares, isso pode não acontecer. Por exemplo, em Dublin (Irlanda), ainda há uma moratória para a construção de novos data centers; em Frankfurt am Main, uma proibição semelhante está em vigor até 2030; e em Singapura, atualmente, apenas 7,2 MW estão disponíveis.

Segundo especialistas, a eletricidade deixou de ser um item de despesa e se tornou um fator determinante — a própria possibilidade de implementar projetos de IA dependerá de sua disponibilidade. A eletricidade representa de 40% a 60% dos custos operacionais em infraestruturas modernas de IA, tanto na nuvem quanto localmente. Conforme observado no TechInsights, um acelerador de 15 kW, operando 24 horas por dia, pode “consumir” US$ 20 mil/ano em energia, sem contar o custo do resfriamento.

As empresas já estão sendo forçadas a repensar suas estratégias de implantação de infraestrutura, levando em consideração a conformidade regulatória, as tarifas regionais de energia, etc. Os hiperescaladores obtêm vantagens adicionais devido à menor PUE, ao acesso a energia renovável e a esquemas otimizados de compra de energia. Na nova realidade, o desempenho é medido não apenas em dólares ou fracassos, mas também em quilowatts.

Além disso, a geografia do mercado de data centers está mudando. Regiões ricas em energia, como os EUA, a Escandinávia e os Estados do Golfo, estão atraindo mais investimentos na construção de data centers, enquanto regiões com sistemas de energia fracos correm o risco de se tornarem “desertos de IA”, onde a capacidade de escala é impossível.

Os construtores de infraestrutura de IA agora terão que prestar muita atenção às questões energéticas: custos de eletricidade, disponibilidade de fontes de energia, transparência de emissões, proximidade dos data centers às redes elétricas, etc. Recentemente, o regulador americano NERC, responsável por supervisionar redes elétricas e infraestrutura relacionada nos Estados Unidos, declarou que a conexão a redes de data centers é atualmente muito arriscada devido à imprevisibilidade dos data centers.