10+ TB/s: Pure Storage apresenta armazenamento FlashBlade//EXA All-Flash de alto desempenho para IA e HPC

A Pure Storage anunciou o FlashBlade//EXA, considerado a plataforma de armazenamento de melhor desempenho disponível atualmente, projetada especificamente para as cargas de trabalho de IA e HPC mais exigentes.

Observa-se que os sistemas de armazenamento padrão são otimizados para ambientes HPC tradicionais com operações previsíveis. Esses sistemas são projetados visando a escalabilidade do “desempenho puro”. No entanto, as cargas de trabalho modernas de IA são muito mais complexas e multimodais: elas envolvem o processamento de diferentes tipos de dados – texto, imagens e vídeo – simultaneamente em dezenas de milhares de aceleradores. Isso cria a necessidade de otimizar o processamento de metadados e, ao mesmo tempo, aumentar o desempenho.

O FlashBlade//EXA, de acordo com a Pure Storage, elimina os gargalos dos sistemas de armazenamento tradicionais em termos de trabalho com metadados. A arquitetura da nova plataforma permite dimensionar recursos para processamento de dados regulares e metadados de forma independente uns dos outros. O processamento eficiente de metadados é essencial para manter alto desempenho, confiabilidade e eficiência em ambientes de IA em larga escala.

Fonte da imagem: Pure Storage

O segmento Metadata Core do FlashBlade//EXA pode combinar de 1 a 10 chassis 5U com dez nós blade cada. Cada nó abriga de um a quatro módulos DFM proprietários de 37,5 TB. Outros 2U são alocados para um par de XFM (External Fabric Modules), que fornecem 16 conexões de 400 GbE. O Metadata Core é executado no sistema operacional proprietário Purity//FB, comunica-se diretamente com o cluster de GPU (NFSv4.1 sobre TCP) e gerencia fluxos de dados entre nós de armazenamento e o cluster (NFSv3 sobre RDMA).

Os nós de armazenamento dos nós de dados têm escalabilidade ilimitada. Além disso, esses nós podem ser os servidores x86 mais comuns de qualquer fornecedor. Cada um desses nós deve conter uma CPU de 32 núcleos, 192 GB de RAM, 12 a 16 SSDs NVMe (PCIe 4.0/5.0) com capacidade de até 61,44 TB e um par de NICs de 400 GbE. A arquitetura da plataforma prevê o uso de adaptadores de rede NVIDIA ConnectX, switches Spectrum, componentes LinkX, etc.

O sistema FlashBlade//EXA oferece mais de 10 TB/s de desempenho de leitura em um único namespace. Como resultado, as organizações podem acelerar significativamente os processos de treinamento e inferência de modelos de IA, maximizando o potencial dos aceleradores de GPU. Isso também ajuda a reduzir o tempo e os custos financeiros de resolução de tarefas que exigem muitos recursos. Aparentemente, essa é a solução que a empresa oferece aos hiperescaladores. O próprio Pure Storage tem uma configuração de teste de 300 nós que mostra desempenho a 30 TB/s.