Até 16 mil aceleradores AMD Instinct MI300X podem ser combinados na nuvem Oracle

A plataforma de nuvem Oracle Cloud Infrastructure (OCI) aproveita os aceleradores AMD Instinct MI300X e a pilha de software aberto AMD ROCm como parte das instâncias BM.GPU.MI300X.8 mais recentes. Eles são projetados para cargas de trabalho exigentes de IA, incluindo o processamento de grandes modelos de linguagem (LLMs) com centenas de bilhões de parâmetros.

As instâncias Bare Metal BM.GPU.MI300X.8 combinam oito aceleradores Instinct MI300X, cada um carregando 192 GB de memória HBM3 com uma largura de banda de 5,3 TB/s. Alega-se que o modelo Hugging Face OPT com 66 bilhões de parâmetros pode ser executado em um único Instinct MI300X.

As instâncias incluem dois processadores Intel Xeon Sapphire Rapids com 56 núcleos. A quantidade de RAM DDR5 é de 2 TB. Oito SSDs NVMe com capacidade de 3,84 TB cada são usados ​​para armazenar dados. As instâncias incluem uma rede front-end com taxa de transferência de 100 Gbps e o cluster usa conexões de 400 G (×8).

Fonte da imagem: AMD

O preço da assinatura do BM.GPU.MI300X.8 é de US$ 6/hora para cada acelerador. A plataforma OCI Supercluster baseada no AMD Instinct MI300X pode combinar até 16.384 aceleradores, o que permite aos clientes dimensionar com flexibilidade os recursos de computação para atender às suas tarefas, afirma a empresa. Observa-se que o surgimento de novas instâncias proporcionará aos clientes OCI mais oportunidades em termos de organização de computação eficiente e de alto desempenho na implementação de projetos complexos de IA.

Além disso, a empresa também oferece clusters com aceleradores NVIDIA: 32768×A100, 16384×H100, 65536×H200 e 3840×L40S. E no primeiro semestre de 2025, um supercomputador de IA em nuvem zettaflops composto por 131.072 aceleradores NVIDIA B200 (Blackwell) estará disponível para os clientes.