O conceito de computação in-memory tem várias vantagens na construção de sistemas HPC, e a Samsung deu um passo importante nessa área. Pela primeira vez na prática, a gigante sul-coreana combinou seus chips in-memory com os aceleradores AMD Instinct em um supercomputador experimental. De acordo com a Samsung, essa combinação oferece um aumento significativo no desempenho ao treinar modelos de IA “pesados”. Ao mesmo tempo, os indicadores de eficiência energética também são melhorados.
O novo sistema possui 96 aceleradores AMD Instinct MI100, cada um deles complementado com memória proprietária HBM-PIM com funções de processamento na memória. O sistema inclui 12 nós de computação com 8 aceleradores em cada um. Seis nós são conectados uns aos outros por meio de switches InfiniBand. São utilizados 16 links com velocidade de 200 Gbps.
Fonte da imagem aqui e abaixo: Samsung
O cluster Samsung não pode ser chamado de recordista, mas os resultados são muito animadores: na tarefa de aprender o modelo de linguagem Text-to-Test Transfer Transformer (T5) desenvolvido pelo Google, o uso de memória computacional permitiu reduzir o treinamento tempo em 2,5 vezes, enquanto reduz o consumo de energia em 2,7 vezes.
A tecnologia é muito amiga do meio ambiente: segundo a Samsung, um cluster de memória HBM-PIM desse tipo pode economizar 2.100 GWh por ano, o que, em termos de pegada de carbono, significa uma redução de emissões de 960 mil toneladas no mesmo período. Levaria 10 anos e 16 milhões de árvores para absorver a mesma quantidade de dióxido de carbono.
A empresa está confiante em sua tecnologia de computação in-memory e já preparou especificações por meio do SYCL para permitir que os desenvolvedores de software aproveitem ao máximo o HBM-PIM. A Samsung também está trabalhando ativamente em um conceito semelhante de PNM (processamento próximo à memória), que será incorporado aos módulos de memória CXL.
Dispositivo Samsung HBM-PIM
A Samsung trabalha há muito tempo na introdução de PIM e PNM e, mesmo na conferência Hot Chips 33 do ano passado, anunciou que pretende equipar todos os tipos de memória com aceleradores de computação – não apenas HBM2 / 3, mas também DDR4 / 5. Ao mesmo tempo, uma amostra funcional do HBM-PIM foi demonstrada pela primeira vez, onde cada chip foi equipado com um acelerador com desempenho FP16 de 1,2 TFlops.
Assim, o primeiro sistema HPC com tecnologia PIM comprovou totalmente o conceito de computação in-memory. A Samsung pretende promover ativamente as tecnologias PIM e PNM tanto na indústria de TI quanto no meio acadêmico, principal consumidor de recursos de sistemas de supercomputação e cluster.