A escassez global de memória está forçando os principais operadores de data centers a tomarem medidas não convencionais. Nikhil Cherian, Diretor Sênior de Infraestrutura da Cadeia de Suprimentos do Google Cloud, anunciou que o Google começou a desmontar servidores desativados e a extrair módulos DDR4 reutilizáveis deles.
Fonte da imagem: cloud.google.com
O Google desenvolveu adaptadores de hardware especializados que permitem a conexão de memórias de gerações anteriores, incluindo DDR4, a novos servidores para sistemas de IA. Para isso, a empresa recupera servidores desativados, desmonta-os e extrai módulos de memória reutilizáveis. Segundo Cherian, o setor de IA passou rapidamente de uma situação de limitação computacional para uma situação de limitação de memória. Memórias de alto desempenho agora representam mais de 75% do custo dos componentes de um servidor de IA típico.
A escassez é acompanhada por um rápido aumento de preços. A TrendForce prevê que o preço da DRAM para servidores aumentará de 13% a 18% no terceiro trimestre, enquanto a memória para PCs aumentará de 18% a 23%. As estimativas do Goldman Sachs são próximas a esses números: analistas esperam aumentos de aproximadamente 18% e 17%, respectivamente. Em agosto, os preços à vista para módulos de 8 GB de DDR4 e DDR5 chegaram a US$ 142 e US$ 133, respectivamente.
O aumento dos preços e a escassez de memória estão forçando as empresas de tecnologia a buscar maneiras de reduzir a quantidade de memória necessária por unidade de poder computacional. O Google está abordando essa questão simultaneamente nos níveis de hardware e software, otimizando bibliotecas, arquitetura de modelos e algoritmos de compressão de cache KV.
Os novos aceleradores de IA do Google também visam reduzir a dependência de memória externa. Especificamente, o TPU8i, projetado para inferência, utiliza uma hierarquia de memória multinível: cada acelerador é equipado com 288 GB de HBM3E, enquanto o sistema do servidor usa DDR5 para tarefas de nível de host. No entanto, a escassez de DRAM provou ser tão grave que, em alguns cenários, o Google decidiu substituir a DDR5 por memória extraída de servidores desativados.Módulos DDR4.
Assim, a escassez de memória obrigou um dos maiores operadores de infraestrutura de IA não só a otimizar novos aceleradores e software, mas também a estabelecer uma cadeia interna para reutilizar componentes de servidores antigos.