A Neo Semiconductor criou memória 3D X-AI, que pode lidar com cargas de trabalho de IA sem GPU

A NEO Semiconductor lançou chips 3D X-AI projetados para substituir a memória HBM, que é usada em aceleradores modernos baseados em GPU. A memória DRAM 3D possui um mecanismo de processamento de IA integrado que lida com fluxos de dados sem exigir cálculos matemáticos. Isso ajuda a resolver o problema da largura do barramento entre o processador e a memória, ajudando a melhorar o desempenho e a eficiência dos sistemas de IA.

Fonte da imagem: NEO Semiconductor

No coração do chip 3D X-AI está uma camada de circuito neural que processa dados de 300 camadas de memória no mesmo chip. A densidade de memória do componente é oito vezes maior que a do HBM atual, e 8.000 circuitos neurais proporcionam um aumento de 100 vezes no desempenho devido ao processamento de dados diretamente na memória – o volume de dados é radicalmente reduzido, o que reduz a energia do acelerador consumo em 99%.

«Os chips de IA existentes desperdiçam desempenho e recursos de energia significativos devido a ineficiências arquitetônicas e tecnológicas. A arquitetura atual do chip de IA armazena dados no HBM e delega toda a computação à GPU. Essa arquitetura de armazenamento e processamento de dados separados inevitavelmente transforma o barramento em um gargalo de desempenho. A transferência de grandes quantidades de dados através do barramento reduz o desempenho e aumenta consideravelmente o consumo de energia. O 3D X-AI pode realizar processamento de IA em cada chip HBM. Isso pode reduzir significativamente a quantidade de dados transferidos entre o HBM e a GPU para melhorar o desempenho e reduzir significativamente o consumo de energia”, disse o fundador e CEO da NEO Semiconductor, Andy Hsu.

Um único dado 3D X-AI tem capacidade de 128 GB e oferece velocidades de processamento de IA de 10 TB/s. Doze matrizes em um pacote HBM podem fornecer 1,5 TB de memória com largura de banda de 120 TB/s. Os desenvolvedores de hardware de processamento de IA estão explorando soluções que podem melhorar seu rendimento e velocidade – os semicondutores estão se tornando mais rápidos e eficientes, mas o barramento entre os componentes costuma ser um gargalo. Intel, Kioxia e TSMC, por exemplo, estão trabalhando em tecnologias ópticas para acelerar a comunicação entre componentes de uma placa-mãe. Ao mover parte do processamento da carga de trabalho de IA da GPU para o HBM, a solução da NEO Semiconductor pode tornar os aceleradores muito mais eficientes do que são hoje.