Reserva de IA: AWS convida clientes a pré-encomendar clusters com aceleradores NVIDIA H100

O provedor de nuvem Amazon Web Services (AWS) anunciou o lançamento de um novo modelo de consumo, EC2 Capacity Blocks for ML, projetado para empresas que buscam reservar acesso a aceleradores de computação para lidar com cargas de trabalho de IA de curta duração.

A solução EC2 Capacity Blocks para ML da Amazon permite que os clientes reservem acesso a “centenas” de aceleradores NVIDIA H100 em EC2 UltraClusters, que são projetados para cargas de trabalho de aprendizado de máquina de alto desempenho. Os clientes simplesmente especificam o tamanho do cluster desejado e as datas de início e término do acesso. Isto aumenta a previsibilidade da disponibilidade de recursos de IA, ao mesmo tempo que elimina a necessidade de pagar pelo acesso à capacidade quando esta não está em utilização. A AWS também se beneficia porque essa abordagem faz melhor uso dos recursos existentes.

Fonte da imagem: AWS

O EC2 Capacity Blocks oferece clusters de 1 a 64 instâncias EC2 P5 com conectividade Elastic Fabric Adapter (EFA) de segunda geração. Os clusters podem ser reservados por um período de 1 a 14 dias, mas no máximo com oito semanas de antecedência. Isso os torna ideais para treinar e ajustar modelos de IA, experimentos de curto prazo ou para lidar com volumes de pico de demanda, como no lançamento de um novo produto, disse a AWS.

Holger Mueller, analista da Constellation Research Inc., observou que a abordagem criativa da AWS maximiza a eficiência dos recursos de aceleradores existentes, que estão atualmente em pico de demanda e cujo acesso é caro. Segundo ele, a abordagem é emprestada da era do mainframe e foi utilizada pela primeira vez na década de 1970, quando o acesso era distribuído ao longo do tempo entre centenas de usuários com diferentes cargas de trabalho.

Os clientes podem usar o console AWS, CLI ou SDK para encontrar e reservar clusters disponíveis. Com os Blocos de Capacidade EC2, os clientes pagam apenas pelo tempo que reservam. A solução está disponível na região AWS Leste dos EUA (Ohio). Expandiremos o número de regiões e locais da AWS com esta solução disponível no futuro.