Graphcore anuncia aceleradores BOW IPU AI com embalagem de cristal WoW 3D

O desenvolvimento de aceleradores especializados para tarefas e algoritmos de aprendizado de máquina tem sido extremamente popular nos últimos anos. Em 2020, a empresa britânica Graphcore anunciou a criação de uma nova classe de aceleradores, que chamou de IPU: Intelligence Processing Unit. A arquitetura deles é muito interessante.

A unidade principal da IPU não é o núcleo, mas o “telha” – uma área do cristal que contém lógica computacional e alguma memória rápida com largura de banda de cerca de 45 TB / s (7,8 TB / s entre telhas). Na primeira iteração, o chip Graphcore recebeu 1216 desses blocos com 300 MB de memória e agora a empresa anunciou a próxima geração de suas IPUs.

Imagens: Graphcore

O novo chip, chamado BOW, pode ser condicionalmente referido como “geração 2.5”. Ele usa um chip Colossus Mk2 de segunda geração: 892 MB SRAM em 1472 blocos capazes de executar 8832 threads simultaneamente. Esta matriz ainda é fabricada usando o processo de 7 nm da TSMC, mas a Graphcore agora mudou para uma embalagem 3D Wafer-on-Wafer (3D WoW) mais avançada.

O novo IPU é o primeiro chip de alta complexidade do setor usando um novo tipo de embalagem, e a tecnologia 3D WoW foi desenvolvida em conjunto pela Graphcore e TSMC para otimizar os subsistemas de energia. Processadores dessa complexidade são extremamente gulosos e não é fácil “alimentá-los”. Como resultado, a embalagem comum não permite obter o desempenho máximo de um chip Colossus Mk2 – as perdas e o aquecimento parasita são muito altos.

O 3D WoW é implementado de várias maneiras semelhantes à tecnologia usada pela AMD nos chips de servidor Milan-X. Simplificando, as estruturas de haste de cobre penetram no cristal e permitem conectá-lo diretamente a outro cristal, e eles “grudam” graças um ao outro. No caso do BOW, o papel do cristal inferior é atribuído ao distribuidor de energia com um sistema de capacitores estabilizadores, que alimenta o cristal superior do Colossus Mk2. Devido à transição de estruturas planas para volumétricas, é possível tanto aumentar a corrente de entrada quanto encurtar seu caminho de fluxo.

Como resultado, a empresa conseguiu aumentar ainda mais a frequência e o desempenho do BOW sem recorrer a retrabalhar o processador principal ou transferi-lo para uma tecnologia de processo mais fina e cara. Se a IPU original da segunda geração tinha um desempenho máximo de 250 Tflops, agora estamos falando de 350 Tflops – para um sistema BOW-2000 com quatro chips, 1,4 Pflops de desempenho total é declarado. E este é um bom ganho obtido sem custos críticos.

A IPU ainda se comunica com o mundo exterior através de 10 canais IPU-Link (320 GB/s). A memória interna em tal sistema já é de quase 4 GB e é executada a uma velocidade de 260 TB / s – um parâmetro crítico para algumas tarefas de aprendizado de máquina que exigem conjuntos de dados cada vez maiores. A capacidade de memória onboard está longe da oferecida pela NVIDIA e AMD, mas o ganho de velocidade dá uma grande vantagem à ideia do Graphcore.

Os nós BOW-2000 são compatíveis com os nós da versão anterior. Quatro desses nós (BOW POD16) com um servidor de gerenciamento – todos em um chassi de 5U – têm um desempenho de até 5,6 Pflops. E um rack completo com 16 nós BOW-2000 (BOW POD64) já dá 22,4 Pflops. Segundo a empresa, o desempenho da nova versão aumentou de 30 a 40% e o aumento da eficiência energética é de 10% a 16%.

A Graphcore afirma que o BOW POD16 supera o NVIDIA DGX-A100 dez vezes em custo total de propriedade (TCO). O BOW POD16 custa metade do preço do DGX-A100. Infelizmente, ainda é cedo para falar em conquistar o mercado de aprendizado de máquina Graphcore: a empresa já tem alguns clientes, mas entre eles não existem gigantes como Google ou Baidu. No longo prazo, a situação da Graphcore está longe de ser sem nuvens, mas a empresa já está preparando a terceira geração de IPUs com base na tecnologia de processo de 3 nm.