A startup sul-coreana FuriosaAI iniciou a produção em massa de aceleradores de IA RNGD.

A startup sul-coreana FuriosaAI anunciou o início da produção em massa de aceleradores de IA RNGD e servidores NXT RNGD baseados neles. Parcerias sólidas com a TSMC, SK Hynix e outros players do setor, incluindo a ASUS, estabeleceram uma cadeia de produção e suprimentos estável, e os novos produtos já estão disponíveis para clientes corporativos em todo o mundo.

O acelerador de IA RNGD é implementado como uma placa de expansão PCIe 5.0 x16: ele é equipado com 48 GB de HBM3 com taxa de transferência de até 1,5 TB/s e 256 MB de SRAM com taxa de transferência de 384 TB/s. O TDP (Thermal Design Power – Potência de Projeto Térmico) é limitado a 180 W. O desempenho declarado atinge 512 TFLOPS em operações INT8. O sistema NXT RNGD 4U, por sua vez, comporta oito placas RNGD. O consumo de energia é de 3 kW. Alega-se que cinco instâncias do NXT RNGD podem ser instaladas em um rack de servidor padrão com refrigeração a ar, proporcionando desempenho de IA de até 20 Pflops (INT8).

Fonte da imagem: FuriosaAI

Como a FuriosaAI destaca, os modelos de IA modernos exigem uma capacidade computacional colossal, mas a grande maioria dos data centers corporativos utiliza refrigeração a ar e sua potência é limitada a 15 kW por rack. Portanto, o uso de um grande número de aceleradores de GPU com TDP de até 600 W ou mais requer atualizações de infraestrutura caras e demoradas. O uso dos produtos RNGD resolve esse problema. De acordo com a FuriosaAI, sua solução oferece 3,5 vezes a densidade computacional dos sistemas baseados em NVIDIA H100 em ambientes padrão.

Um SDK completo está disponível para os aceleradores RNGD. Eles afirmam oferecer suporte a modelos de IA populares, como Qwen 2 e Qwen 2.5. O primeiro lote de produção foi de 4.000 unidades.

Se você notar algum erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever uma versão melhor? Ficaremos felizes em receber seu feedback.

Fonte: