Comprar o acelerador NVIDIA H100 AI ficou mais fácil – as filas diminuíram, apareceu um mercado secundário

Os prazos de entrega das GPUs NVIDIA H100 usadas em aplicações de IA e computação de alto desempenho foram significativamente reduzidos, de 8 a 11 meses para 3 a 4 meses. Os analistas acreditam que isso se deve à expansão das opções de aluguel de recursos de grandes empresas como Amazon Web Services, Google Cloud e Microsoft Azure. Como resultado, algumas empresas que anteriormente adquiriam grandes quantidades de processadores H100 estão agora tentando vendê-los.

Fonte da imagem: NVIDIA

The Information relata que algumas empresas estão revendendo suas GPUs H100 ou reduzindo pedidos devido à menor escassez e ao alto custo de manutenção de estoques não utilizados. Isso marca uma mudança significativa em relação ao ano passado, quando a compra de GPUs NVIDIA Hopper era um grande problema. Apesar do aumento da disponibilidade de chips e dos prazos de entrega significativamente reduzidos, a demanda por chips de IA ainda continua a superar a oferta, especialmente entre empresas que treinam grandes modelos de linguagem (LLMs).

A crescente escassez de aceleradores de IA se deve em parte ao fato de os provedores de serviços em nuvem facilitarem o aluguel de GPUs NVIDIA H100. Por exemplo, a AWS introduziu um novo serviço que permitiu aos clientes agendar aluguéis de GPU por períodos mais curtos, resultando em redução da demanda e da latência. A crescente disponibilidade dos processadores NVIDIA AI também levou a mudanças no comportamento do consumidor. As empresas estão se tornando mais conscientes dos preços ao comprar ou alugar, procurando clusters de GPU menores e prestando mais atenção à viabilidade econômica de seus negócios.

Como resultado, o crescimento no sector da inteligência artificial é significativamente menor do que no ano passado, prejudicado por restrições devido à escassez de chips. Estão surgindo alternativas aos dispositivos NVIDIA, como os processadores AMD ou AWS, que, juntamente com o aumento do desempenho, melhoraram o suporte de software. Juntamente com uma abordagem equilibrada ao investimento em IA, isto poderia levar a uma situação de mercado mais equilibrada.

No entanto, o acesso a grandes clusters de GPU necessários para o treinamento LLM ainda permanece problemático. Os preços do H100 e de outros processadores NVIDIA não estão diminuindo, a empresa continua a obter lucros elevados e a aumentar seu valor de mercado em um ritmo incrível. A NVIDIA prevê uma forte demanda por aceleradores Blackwell AI de próxima geração. Procurando alternativas, Sam Altman da OpenAI está tentando arrecadar fundos em grande escala para construir mais fábricas de chips de IA.