Cinco vezes mais eficiente em termos de energia do que o H100: a HyperAccel desenvolve o chip Bertha 500 de baixo consumo para inferência de IA.

A startup sul-coreana HyperAccel está se preparando para lançar o Bertha 500, um chip especializado projetado para inferência de IA, segundo o EE Times. Sua arquitetura exclusiva promete gerar cinco vezes mais tokens por segundo do que soluções baseadas em GPUs com o mesmo nível de TOPS.

O Bertha 500 prioriza a eficiência de custos, utilizando memória LPDDR em vez da cara HBM. Ao eliminar a hierarquia de memória tradicional, ele atinge 90% de utilização da largura de banda da LPDDR. Ganhos adicionais de eficiência são obtidos otimizando a arquitetura especificamente para tarefas de inferência. Em comparação, a HyperAccel afirma que a inferência em GPU utiliza apenas cerca de 45% da largura de banda da memória e 30% dos recursos computacionais. Em outras palavras, sacrificando uma pequena quantidade de desempenho, o chip Bertha 500 alcança uma significativa redução de custos.

O Bertha 500 será fabricado utilizando a tecnologia de processo de 4nm da Samsung. O chip conta com 32 núcleos LPU (Unidade de Processamento LLM), quatro núcleos Arm Cortex-A53 e 256 MB de SRAM. O subsistema de memória LPDDR5x utiliza oito canais, oferecendo uma largura de banda de até 560 GB/s. O desempenho de IA declarado para operações INT8 é de 768 TOPS. Outros formatos de 16, 8 e 4 bits, incluindo FP16, também são suportados. No geral, a HyperAccel afirma que o Bertha 500 oferece aproximadamente 20 vezes mais desempenho por dólar do que o NVIDIA H100, além de oferecer cinco vezes mais eficiência energética. O chip Bertha 500 consumirá aproximadamente 250 watts.

Fonte da imagem: EETimes

A pilha de software HyperAccel é compatível com todos os modelos do repositório da HuggingFace. A empresa também está trabalhando em uma linguagem de domínio específico (DSL) chamada Legato, que fornecerá aos desenvolvedores acesso de baixo nível ao sistema. Amostras do Bertha 500 estarão disponíveis até o final do primeiro trimestre de 2026, com produção em massa planejada para o início de 2027.

Vale ressaltar também que a startup está trabalhando com a LG para desenvolver uma versão simplificada do Bertha 500 para dispositivos periféricos — o Bertha 100. Este SoC contará com núcleos Arm Cortex-A55 e componentes selecionados da LG, além de dois canais de memória LPDDR5x. As aplicações potenciais incluem os setores automotivo, de eletrônicos de consumo e robótica. O Bertha 100 está previsto para ser disponibilizado em módulos M.2, com as primeiras unidades esperadas para o quarto trimestre deste ano. A solução será capaz, por exemplo, de converter texto em fala ou fala em texto.

A HyperAccel foi fundada por Jooyoung Kim, professor do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST), juntamente com um grupo de seus alunos no início de 2023. Até o momento, a empresa captou US$ 45 milhões em investimentos e está avaliada em US$ 200 milhões. Ela emprega aproximadamente 80 pessoas. O primeiro produto da HyperAccel foi um servidor especializado baseado em FPGA, o Orion, projetado para resolver problemas de IA.

Se você encontrar um erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever um melhor? Ficaremos felizes em receber sua contribuição.

Fonte: