Processador Amazon Graviton3: 64 núcleos de braço, tecnologia de processo de 5 nm, layout de chipset e DDR5 com PCIe 5.0

O recém-anunciado processador Arm Graviton3, criado especificamente para as necessidades da Amazon e AWS, inesperadamente acabou ficando muito acima do EPYC e do Xeon da próxima geração que ainda não havia sido lançado. E este não é um bom sinal para AMD, Intel, Qualcomm e outros fabricantes.

Amazon Graviton3. Фото: Ian Colle

Graviton3 é o primeiro processador de servidor em massa (pela própria Amazon e alguns clientes selecionados, ele tem sido usado por mais de um mês) com suporte para DDR5 e PCIe 5.0. A CPU é feita usando a tecnologia de processo de 5 nm da TSMC e contém aproximadamente 55 bilhões de transistores. Para reduzir o custo, ele usa um pacote BGA e um arranjo de chips de sete cristais separados – dois controladores PCIe e quatro controladores DDR5 de canal duplo são retirados da própria CPU.

Nó EC2 C7g. Aqui e abaixo das imagens do Amazon AWS

Além do mais, sua embalagem usa soluções de ponta com canais menores que 55 mícrons, metade do tamanho de outras CPUs de servidor. A redução do comprimento dos condutores tem um efeito positivo na eficiência energética, o que é muito importante para qualquer hiperscaler. Isso também explica o número relativamente pequeno de núcleos pelos padrões modernos (apenas 64) e sua frequência (2,6 GHz). Tudo isso permitiu atingir um consumo de energia da ordem de 100 watts.

Há outra vantagem importante em manter o número de núcleos – a transição para DDR5-4800 permitiu não apenas atingir o pico de largura de banda de memória total de 300 GB / s por chip, mas também aumentar a velocidade real de trabalho com a memória de cada um vCPU (na verdade, o núcleo) por uma vez e meia em comparação com a geração anterior. A situação é a mesma com PCIe 5.0 – para atingir a mesma largura de banda de antes, você precisa de metade das linhas.

Para reduzir o custo, são usados ​​blocos de IP pré-fabricados de empresas terceirizadas e, aparentemente, os núcleos também não são muito diferentes das referências da Arm. Mas não descobriremos imediatamente quais, uma vez que a Amazon não indicou explicitamente se seria Neoverse V1 (Zeus) ou N2 (Perseus). Provavelmente, este ainda é V1 (ARMv8.5-A), já que de acordo com a descrição Graviton3 são semelhantes a esta mesma arquitetura. Os novos kernels se tornaram muito “mais largos” que os anteriores – eles pegam 8 instruções, decodificam de 5 para 8 delas e enviam 15 instruções para execução de uma vez. Consequentemente, o número de unidades de execução quase dobrou em comparação com Neoverse-N1 (Graviton2).

Além disso, eles adquiriram suporte para instruções vetoriais SVE de 256 bits, o que aumentou não apenas a velocidade de execução de operações “clássicas” de FP (por exemplo, para codificação de mídia e tarefas de criptografia), mas também, graças ao suporte de bfloat16, permitiu que a Amazon afirmam que os novos chips também são adequados para inferência. Entre as medidas de proteção mencionadas anteriormente, estão, por exemplo, criptografia forçada de RAM, caches isolados para cada vCPU (kernel), proteção de pilha de hardware.

Há um erro de digitação óbvio na assinatura da segunda coluna

Em geral, o ganho médio de desempenho do Graviton3 em comparação com o Graviton2 foi de 25%, mas em algumas tarefas chega a 60%. E tudo isso mantendo o mesmo nível de consumo de energia e dissipação de calor. Tudo isso tornou possível encaixar três processadores Graviton3 em um nó 1U refrigerado a ar de uma vez. E eles são muito diferentes dos futuros processadores Altra Max e EPYC Bergamo de 128 núcleos, que a Ampere e a AMD estão posicionando como soluções para hiperscalers.

Mas a CPU é apenas parte da plataforma que os chips Nitro lançaram há alguns anos. Agora deveriam ser chamados de DPU / IPU, embora na época de seu surgimento, pode-se dizer, não existia tal conceito. O Nitro se encarrega de todas as tarefas de manutenção do hipervisor, garantindo a segurança, trabalhando com armazenamento e rede, etc., liberando, por um lado, todos os recursos de CPU, memória e SSD para processar a tarefa do cliente, e por outro lado , permitindo que você desagregue quase completamente toda a infraestrutura.

Nó Nitro SSD

No entanto, a Amazon foi ainda mais longe – agora ela compra chips NAND por conta própria e produz SSDs, também movidos a Nitro. Ou seja, a empresa controla um stack quase completo de soluções de hardware modernas: CPU, DPU, SSD, aceleradores de IA para treinamento (Trainium) e inferência (Inferentia). Ela transfere ativamente seus próprios serviços para ele e os oferece aos clientes. E é exatamente isso que deve preocupar os grandes fornecedores, uma vez que é improvável que suas soluções atinjam o mesmo nível de TCO, e há muitos hiperscaladores que desejam mudar para um modelo semelhante.