AWS, o braço de nuvem da Amazon, anunciou instâncias EC2 C7g com tecnologia Graviton3, seus processadores Arm de terceira geração, e instâncias Trn1 que usam aceleradores Trainium AI, desenvolvidos pela AWS especificamente para aprendizado de máquina.
No entanto, ambos os anúncios são preliminares. Portanto, para Graviton3, nem a geração da arquitetura Arm, nem o número de núcleos, nem a frequência são especificados. Mas argumenta-se que os novos itens em comparação com instâncias baseadas no Graviton2 têm desempenho um quarto maior e duas vezes mais rápido em cálculos de ponto flutuante e ao trabalhar com criptografia. Ao mesmo tempo, consomem 60% menos energia.
Algumas mudanças arquitetônicas também são mencionadas. Portanto, o suporte para bfloat16 permite três vezes acelerar a execução de tarefas de IA (provavelmente estamos falando sobre inferência), e a transição para DDR5 aumentará a largura de banda da memória em 50%. Cada vCPU tem um cache dedicado e segurança adicional é fornecida pela proteção de pilha de hardware. Além disso, novas instâncias usam criptografia de memória forçada por padrão, suporte para volumes EBS criptografados e velocidades de conexão EFA de até 30 Gbps.
EC2 C7g é, de acordo com a AWS, adequado para HPC, EDA, análises, plataformas de jogos e anúncios, codificação de mídia e muito mais. Distribuições de Amazon Linux 2, RHEL, SUSE e Ubuntu estão disponíveis para eles, bem como uma série de softwares já adaptados. Até agora, o C7g está disponível por meio de testes fechados mediante solicitação, mas a Epic Games, a Formula 1 Management, o Honeycomb.io e o Twitter já os avaliaram.
Os próprios processadores Graviton3, como seus predecessores, provavelmente não serão vendidos “fora” e fora da infraestrutura central da AWS só entrarão em Postos Avançados. No entanto, para a própria Amazon, isso – junto com a implementação do Nitro – é um passo importante em direção à independência de fornecedores terceirizados e à melhoria do desempenho de seus próprios serviços. Existem apenas 12 tipos de instância oferecidos atualmente com base no Graviton2, mas a AWS é bastante ativa e bem-sucedida na migração de todos os outros serviços e serviços para suas próprias CPUs.
As instâncias EC2 Trn1, em geral, visam atingir os mesmos objetivos. Eles são baseados nos aceleradores Trainium, o segundo chip proprietário da Amazon projetado especificamente para tarefas de aprendizado de máquina. O chip está equipado com 32 GB HBM2e e seu desempenho é de até 210 Tops. As instâncias Trn1 combinam até 16 desses aceleradores, vinculados pela interconexão NeuronLink (768 GB / s), têm conexões EFA em velocidades de até 800 Gb / s (o dobro da velocidade das instâncias GPU atuais) e oferecem SSD NVMe de até 8 TB .
O AWS permite que você forme clusters de dezenas de milhares de Trainiums, conectados por uma rede de classe de petabyte e conectados via Amazon FSx a um armazenamento Luster de petabyte. Tudo isso permite treinar rapidamente modelos gigantes. Para o trabalho, um conjunto proprietário de ferramentas Neuron SDK é oferecido (o mesmo que para AWS Inferentia), mas também há suporte para estruturas populares como Tensorflow ou PyTorch. Trn1 está atualmente em acesso preliminar mediante solicitação.