O Morgan Stanley calculou que um rack de servidor Nvidia VR200 NVL72 de última geração, baseado na arquitetura Vera Rubin, custará a um operador de nuvem aproximadamente US$ 7,8 milhões. Em comparação, o GB300 NVL72 custa cerca de US$ 4 milhões. O rack VR200 NVL72 de última geração contém mais DRAM e NAND, o que representa aproximadamente 25% do custo total.
Fonte da imagem: Nvidia
A Nvidia planeja vender processadores Vera por US$ 5.000 e aceleradores de IA Rubin por US$ 55.000 cada, em gabinetes VR200 NVL72. Os racks utilizam os já conhecidos gabinetes Oberon, mas apresentam componentes de comutação, componentes de rede, placas de circuito impresso e sistemas de refrigeração mais complexos. Até mesmo as tecnologias de encapsulamento de chips foram alteradas. Tudo isso impacta o custo dos sistemas, resultando em um preço de US$ 7,8 milhões por rack. Somente os componentes de memória em um rack VR200 NVL72 custam aproximadamente US$ 2 milhões, ou 435% a mais do que em um GB300 NVL72.
Fonte da imagem: x.com/Aaronwei3n
Cada rack da nova geração possui 54 TB de memória LPDDR5X — três vezes os 17 TB do GB200 NVL72. De acordo com a SemiAnalysis, a Nvidia pagou US$ 8 por GB de LPDDR5X no primeiro trimestre, e esse valor provavelmente aumentará, especialmente para os caros módulos SOCAMM2. Portanto, a memória para o GB200 NVL72 custa US$ 136.000 por máquina; para o VR200 NVL72, custa US$ 408.000, e com o preço subindo para US$ 10 por GB, o preço chegaria a US$ 540.000 — mesmo sem a margem de lucro da Nvidia.
Além disso, cada rack do VR200 NVL72 contém pelo menos US$ 1 milhão em memória 3D NAND, enquanto os racks do GB200 NVL72 praticamente não continham nenhuma. Consequentemente, o preço de US$ 2 milhões por rack Vera Rubin NVL72 parece totalmente previsível: ele apresenta grandes quantidades de LPDDR5X e 3D NAND, sem mencionar a memória HBM4 de alta velocidade encontrada nos próprios aceleradores Rubin — e isso está acontecendo apesar da escassez e dos preços exorbitantes dos chips de memória.