A startup de IA Sapeon, apoiada pelo gigante sul-coreano de telecomunicações SK Group, anunciou o chip X330, projetado para inferência e manutenção de modelos de linguagem grande (LLM). O produto servirá de base para aceleradores especializados para data centers.
Sapeon afirma que a nova unidade de processamento neural (NPU) oferece aproximadamente o dobro do desempenho e 1,3 vezes melhor eficiência energética do que os produtos concorrentes lançados este ano. Em comparação com a solução anterior da própria empresa – Sapeon X220 – é alcançado um aumento de quatro vezes no desempenho e um aumento de duas vezes na eficiência energética.
Imagens: Sapeon
O novo produto será fabricado na TSMC com tecnologia de 7nm. A produção em massa está prevista para o primeiro semestre de 2024. Com base no chip, serão oferecidos dois aceleradores – X330 Compact Card e X330 Prime Card. Ambos possuem design de slot único e estão equipados com sistema de refrigeração passivo. A interface PCIe 5.0 x16 é usada para conexão. Os cartões podem realizar cálculos INT8, FP8 e FP16.
O modelo X330 Compact Card de comprimento reduzido carrega 16 GB de memória GDDR6 com largura de banda de até 256 GB/s. O desempenho declarado nas operações FP8 e FP16 atinge 367 e 184 Tflops, respectivamente. O consumo de energia varia de 75 a 120 W. A modificação em tamanho real da placa X330 Prime recebeu 32 GB de memória GDDR6 com largura de banda de até 512 GB/s. O desempenho declarado do FP8 e FP16 é de até 734 e 368 Tflops. Consumo de energia – 250 W.
O Grupo SK tem investido recentemente ativamente no desenvolvimento de IA, investindo diretamente ou através de subsidiárias em software e hardware. Em particular, outro desenvolvedor sul-coreano de chips de IA, Rebellions, está associado a ele, também apoiado pelo governo do país, que pretende aumentar a participação de chips de IA domésticos em data centers locais para 80% até 2030. Isto é feito para reduzir a dependência de soluções estrangeiras e evitar escassez. A própria Sapeon está preparando pelo menos mais duas gerações de seus chips.