Devido ao preço exorbitante do hardware necessário para treinar e implantar tecnologias de IA, os aceleradores de computação avançada NVIDIA H100 estão sendo vendidos por mais de US$ 40.000 no eBay.
Fonte da imagem: NVIDIA
O pioneiro da indústria de jogos e ex-consultor de tecnologia da Meta*, John Carmack, chamou a atenção para a situação. Na sexta-feira, pelo menos oito aceleradores NVIDIA H100 foram oferecidos por vendedores no eBay a preços variando de US$ 39.995 a quase US$ 46 mil. Um pouco antes, alguns vendedores os venderam por US$ 36 mil cada.
Fonte da imagem: eBay
O principal acelerador H100, que é o sucessor do modelo A100 de US$ 10.000, foi apresentado pela NVIDIA no ano passado.
Os desenvolvedores usam o H100 para criar os chamados Modelos de Linguagem (LLMs), que são a base para aplicativos de IA, como o chatbot ChatGPT da OpenAI. Esses são sistemas muito caros e com uso intensivo de energia que podem processar os terabytes de informações necessários para treinar a IA em apenas alguns dias ou semanas.
O processo de treinamento de modelos de IA, especialmente grandes como GPT, requer a operação simultânea de centenas de aceleradores avançados da NVIDIA. A mesma empresa, a Microsoft, gastou centenas de milhões de dólares para comprar dezenas de milhares de aceleradores NVIDIA A100 da geração anterior, com base nos quais o bot de bate-papo ChatGPT para OpenAI foi treinado.
A linha de produtos da NVIDIA também inclui supercomputadores DGX prontos, que incluem oito aceleradores de computação ao mesmo tempo. Este ano, a empresa lançou o DGX Cloud, um serviço de nuvem que permite alugar acesso aos sistemas DGX A100 por US$ 37.000 por mês.
* Está incluída na lista de associações públicas e organizações religiosas em relação às quais o tribunal proferiu decisão final de liquidação ou proibição de atividades com base na Lei Federal nº 114-FZ de 25 de julho de 2002 “No combate a extremistas atividade”.