A Nvidia lançou um supercomputador pessoal de IA. Em maio deste ano, a empresa começará a vender um sistema chamado Project Digits, que é baseado no novo superchip GB10 Grace Blackwell. Ele tem poder de processamento suficiente para executar modelos complexos de IA (LLMs), ao mesmo tempo que é pequeno o suficiente para caber em uma mesa e funcionar em uma tomada de parede padrão. Anteriormente, esse tipo de poder de computação exigia sistemas muito maiores e que consumiam mais energia.
Fonte da imagem: NVIDIA
«A IA se tornará central para todas as aplicações em todos os setores. Graças ao Project Digits, o superchip Grace Blackwell estará disponível para milhões de desenvolvedores, disse o CEO da Nvidia, Jensen Huang. “Colocar um supercomputador de IA nas mesas de cada cientista de dados, pesquisador e estudante de IA lhes dará a oportunidade de participar na formação da era da IA.”
O Project Digits, do tamanho de um mini PC desktop tradicional como um Mac mini, pode executar modelos de IA contendo até 200 bilhões de parâmetros e tem um preço inicial de US$ 3.000. Para aplicações ainda mais exigentes, os dois sistemas Project Digits podem ser combinados para lidar com modelos contendo até 405 bilhões de parâmetros (o modelo principal do Meta✴, Llama 3.1, possui 405 bilhões de parâmetros).
O chip GB10 de Grace Blackwell oferece até 1 petaflop de desempenho com precisão FP4, o que significa que pode realizar 1 quatrilhão de operações por segundo para treinar e executar modelos de IA. O sistema está equipado com uma GPU com núcleos Nvidia CUDA de última geração e Tensor Cores de quinta geração. Ele é conectado via NVLink-C2C a um processador central Grace com 20 núcleos com eficiência energética baseado na arquitetura Arm. A MediaTek contribuiu para o desenvolvimento do GB10, ajudando a otimizar a eficiência energética e o desempenho. Cada sistema está equipado com 128 GB de RAM coerente unificada e até 4 TB de armazenamento NVMe.
Os usuários também terão acesso à biblioteca de software de IA da Nvidia, incluindo kits de desenvolvimento, ferramentas de orquestração e modelos pré-treinados disponíveis no Catálogo Nvidia NGC. O sistema roda em Linux Nvidia DGX OS e suporta estruturas populares como PyTorch, Python e Jupyter Notebooks. Os desenvolvedores podem personalizar modelos usando a estrutura Nvidia NeMo e acelerar fluxos de trabalho de ciência de dados usando bibliotecas Nvidia RAPIDS.
Os usuários podem desenvolver e testar seus modelos de IA localmente no Project Digits e, em seguida, implantá-los em serviços em nuvem ou infraestrutura de data center que aproveitam a mesma arquitetura Grace Blackwell e plataforma de software Nvidia AI Enterprise.
Observe que este não é o primeiro supercomputador de IA de “consumo” da Nvidia. Em dezembro, a empresa anunciou uma versão de US$ 249 de seu computador Jetson para aplicações de IA voltadas para hobbyistas e startups, chamada Jetson Orin Nano Super, que pode lidar com LLMs de até 8 bilhões de parâmetros.