O maior supercomputador de IA da AWS, o Projeto Rainier, abrangerá vários data centers, mas será ecológico

A Amazon Web Services (AWS) está construindo um supercomputador de IA chamado Projeto Rainier. O projeto, que abrange vários data centers nos Estados Unidos, é diferente de tudo o que a AWS já tentou. Este supercomputador gigantesco e único foi projetado para construir e executar modelos de IA de última geração.

A AWS firmou parceria com a startup de IA Anthropic, que usará o novo cluster de IA para construir e implementar versões futuras do LLM Claude. As empresas têm um relacionamento bastante próximo, e o surgimento do Projeto Rainier reduzirá a dependência da Anthropic e da AWS dos escassos aceleradores da NVIDIA, que também são escassos para as necessidades da própria Amazon.

«”O Rainier fornecerá cinco vezes o poder computacional do Anthropic, o maior cluster até o momento”, disse Gadi Hutt, diretor de desenvolvimento de produtos e engenharia do Annapurna Labs, a divisão de design de chips da AWS. Quanto mais computação for investida no treinamento do Claude, mais inteligente e preciso será o modelo. “Estamos criando poder computacional em uma escala nunca vista antes, e estamos fazendo isso com velocidade e agilidade sem precedentes”, disse Hutt.

Fonte da imagem: Amazon

O Projeto Rainier foi projetado como um enorme EC2 UltraCluster, composto por UltraServers executando o Trainium2. O Trainium2 é o acelerador de IA proprietário da Amazon, projetado para treinar modelos de IA. O UltraServer é um novo tipo de sistema computacional que combina quatro servidores físicos, cada um contendo 16 aceleradores Trainium2, que se comunicam entre si por meio de NeuronLinks (cabos azuis na foto).

Os componentes do supercomputador são conectados em dois níveis críticos: os NeuronLinks fornecem conexões de alta velocidade dentro dos UltraServers, enquanto as DPUs do Elastic Fabric Adapter (EFA) conectam os UltraServers dentro e entre data centers. Essa abordagem de duas camadas maximiza a velocidade onde ela é mais necessária, mantendo a flexibilidade para escalar entre vários data centers.

Operar e manter um cluster computacional tão grande é complexo. E, neste caso, a confiabilidade do sistema é primordial. É aqui que a abordagem da empresa para o desenvolvimento de hardware e software realmente se destaca, afirma a empresa. Como a AWS projeta seu próprio hardware, ela pode controlar todos os aspectos da pilha de tecnologia, desde os menores componentes do chip até o software e a arquitetura do próprio data center. Isso também permite uma adoção mais rápida e custos mais baixos na implementação de IA.

«“Quando você tem uma visão completa, do chip ao software e aos próprios servidores, é possível otimizar onde faz mais sentido”, diz Rami Sinno, diretor de engenharia do Annapurna Labs. “Às vezes, a melhor solução pode ser redesenhar a forma como os servidores são alimentados ou reescrever o software que coordena tudo. Isso pode acontecer simultaneamente. Como temos visibilidade de tudo em todos os níveis, podemos solucionar problemas e inovar com muito mais rapidez”, acrescenta.

Ao mesmo tempo, a Amazon afirma que implementar uma infraestrutura de IA robusta será bastante sustentável. Todo o consumo de eletricidade da Amazon, incluindo seus data centers, foi totalmente compensado por compras de fontes de energia renováveis ​​em 2023. Nos últimos cinco anos, a Amazon tem sido a maior compradora corporativa de energia renovável do mundo. A empresa está investindo bilhões de dólares em energia nuclear e armazenamento de baterias, além de financiar projetos de energia renovável em larga escala em todo o mundo. A Amazon ainda pretende atingir zero emissões líquidas de carbono até 2040. E o Projeto Rainier a ajudará a chegar lá.

No ano passado, a AWS anunciou que implementaria novos componentes que integram avanços em energia e refrigeração não apenas em novos data centers, mas também nos já existentes. Espera-se que seu uso reduza o consumo de energia das máquinas em até 46% e as emissões de gases de efeito estufa da produção de concreto em 35%. As novas instalações do Projeto Rainier incluirão uma série de melhorias em eficiência energética e sustentabilidade, com foco na redução do consumo de água e no uso do ar externo para refrigeração.

Por exemplo, em um data center no Condado de St. Joseph, Indiana, o centro não usará água para resfriamento de outubro a março, e de abril a setembro, a água potável será necessária apenas por algumas horas por dia. A Amazon não especificou de qual campus está falando, mas já se sabe que a empresa está construindo um data center em Indiana que consumirá a mesma quantidade de energia que metade da população do estado.

Graças à inovação em engenharia, a AWS lidera o setor em eficiência hídrica, afirma a empresa. Com base em um estudo recente do Laboratório Nacional Lawrence Berkeley sobre eficiência hídrica em data centers, o padrão do setor é 0,375 L/kWh, enquanto o da AWS é de apenas 0,15 L/kWh. A empresa melhorou essa métrica em 40% em comparação com 2021.