A Rockchip, de acordo com a CNX Software, revelou o acelerador de IA RK182X na China, projetado para lidar com modelos de linguagem de grande porte (LLM) e modelos de linguagem visual (VLM) na borda. O novo produto foi projetado para ser usado em conjunto com outros SoCs da Rockchip.
O produto possui uma arquitetura RISC-V multi-core (o número exato de núcleos ainda não foi divulgado). Dependendo da versão, são utilizados 2,5 ou 5 GB de memória DRAM com “largura de banda ultra-alta” (o PSP também não é divulgado). O suporte para interfaces PCIe 2.0, USB 3.0 e Ethernet está implementado.
De acordo com a Rockchip, o acelerador de IA RK182X pode processar LLM/VLM com até 7 bilhões de parâmetros. Em particular, esses modelos requerem aproximadamente 3,5 GB de memória ao usar os modos INT4/FP4. A compatibilidade com os frameworks PyTorch, ONNX e TensorFlow, bem como com o formato HuggingFace GGUF (GPT-Generated Unified Format) é mencionada.
Fonte da imagem: Software CNX
O acelerador de IA foi projetado para ser usado em conjunto com processadores Rockchip, como o RK3576/RK3588 e outros, provavelmente incluindo as soluções RK3668 e RK3688, também anunciadas ontem. Esses chips contêm sua própria unidade NPU integrada com desempenho de 6 TOPS ou mais para processamento de cargas de trabalho de IA.
No entanto, ao usar um acelerador separado, o desempenho da IA em determinadas tarefas pode ser aumentado de 8 a 10 vezes. A Rockchip, em particular, publicou os indicadores de velocidade do RK182X para modelos populares como DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-1.5B e Qwen2.5-3B.