Com a crescente demanda por inteligência artificial generativa, que muitas vezes é treinada e executada em aceleradores de unidades de processamento gráfico (GPU) especializados, há uma escassez mundial desses aceleradores. Neste contexto, os gigantes da nuvem criam seus chips. E a Amazon hoje, na conferência anual re:Invent, demonstrou seus mais recentes aceleradores proprietários para treinamento de redes neurais – Trainium2. Processadores de servidor Graviton4 também foram apresentados.
Fonte da imagem: Unsplash
O primeiro dos dois chips lançados, AWS Trainium2, é capaz de oferecer quatro vezes o desempenho e duas vezes a eficiência energética do Trainium de primeira geração, lançado em dezembro de 2020. O Trainium2 estará disponível para clientes da Amazon Web Services em instâncias EC Trn2 em clusters de 16 chips. Com o AWS EC2 UltraCluster, os clientes podem ter até 100.000 chips Trainium2 à disposição para treinar grandes modelos de linguagem. Infelizmente, a Amazon não especificou quando o Trainium2 estará disponível para os clientes da AWS, apenas sugerindo que isso acontecerá “no próximo ano”.
De acordo com a Amazon, 100.000 chips Trainium2 fornecerão um poder de computação teórico de 65 EFLOPS (quintilhões de operações por segundo), o que se traduz em 650 TFLOPS (trilhões de operações) por núcleo. Claro que estes são apenas indicadores teóricos, e vale a pena levar em conta fatores que dificultam os cálculos. No entanto, se assumirmos que um núcleo Trainium2 pode fornecer desempenho real de cerca de 200 teraflops, isso excederá significativamente as capacidades dos mesmos chips do Google para treinar modelos de IA.
A Amazon também enfatizou que um cluster de 100.000 chips Trainium2 é capaz de treinar um grande modelo de linguagem de IA (LLM – large language model) com 300 bilhões de parâmetros em apenas algumas semanas. Anteriormente, essas tarefas exigiam meses de treinamento. Observe que os parâmetros no paradigma LLM são elementos de modelo obtidos de conjuntos de dados de treinamento e, de fato, determinam a habilidade do modelo em resolver um problema específico, por exemplo, gerar texto ou código. 300 bilhões de parâmetros são cerca de 1,75 vezes mais que o GPT-3 da OpenAI.
«Os chips estão no centro de todas as cargas de trabalho dos clientes, tornando-os uma área crítica de inovação para a AWS”, observou o vice-presidente de computação e redes da AWS, David Brown, em um comunicado à imprensa. “Dado o aumento do interesse em IA generativa, o Trainium2 ajudará os clientes a treinar seus modelos de ML de forma mais rápida, econômica e com maior eficiência energética.”
À esquerda está o processador Graviton4, à direita está o acelerador Trainium2. Fonte da imagem: Amazon
O segundo chip que a Amazon anunciou hoje é o processador Graviton4 Arm. A Amazon afirma que oferece desempenho 30% mais rápido, 50% mais núcleos e largura de banda de memória 75% maior do que o processador Graviton3 da geração anterior (mas não o Graviton3E mais moderno) executado na nuvem EC2 da Amazon. Assim, o Graviton4 oferecerá até 96 núcleos (mas haverá outras configurações) e suporte para até 12 canais de RAM DDR5-5600.
Outra atualização em relação ao Graviton3 é que todas as interfaces físicas de hardware no Graviton4 são criptografadas. Isso deve proteger melhor as cargas de trabalho de treinamento de IA dos clientes e os dados dos clientes sensíveis à privacidade, disse a Amazon.
«“Graviton4 é a quarta geração de processadores que lançamos em apenas cinco anos e é o chip mais poderoso e com maior eficiência energética que já criamos para uma ampla gama de cargas de trabalho”, disse David Brown em comunicado. “Ao aprimorar nossos chips para cargas de trabalho do mundo real que são importantes para os clientes, podemos fornecer a eles a infraestrutura de nuvem mais avançada.”
Graviton4 estará disponível em arrays R8g do Amazon EC2, que já estão disponíveis em versão prévia.