A NVIDIA está desenvolvendo o SCADA (Scaled Accelerated Data Access), uma nova arquitetura de E/S onde as GPUs iniciam e gerenciam operações de armazenamento, conforme relatado pelo Blocks&Files. O SCADA difere do protocolo NVIDIA GPUDirect existente, que, em termos simples, acelera a troca de dados com dispositivos de armazenamento conectando diretamente a memória aceleradora e os SSDs NVMe via RDMA. Nesse esquema, a CPU não é responsável pela transferência de dados em si, mas ainda lida com a orquestração. O SCADA propõe transferir esse processo também para a GPU.
O treinamento de modelos de IA normalmente requer a transferência de grandes quantidades de dados em um período relativamente curto. A inferência de IA transfere pequenos blocos de E/S (menos de 4 KB) por meio de múltiplos fluxos, e o tempo necessário para gerenciar cada transferência é relativamente longo. A pesquisa da NVIDIA mostrou que iniciar essas transferências diretamente da GPU reduz o tempo e acelera a inferência. Como resultado, o esquema SCADA foi desenvolvido.
A NVIDIA já está colaborando com parceiros do ecossistema de armazenamento para implementar o SCADA. Marvell observa: “A necessidade de infraestrutura de IA está impulsionando as empresas de armazenamento a desenvolver SSDs, controladores, unidades NAND e outras tecnologias otimizadas para suporte a GPUs, com foco em IOPS mais altos para inferência de IA. Isso será fundamentalmente diferente das tecnologias de armazenamento conectadas à CPU, onde latência e capacidade são as principais prioridades.”
Fonte da imagem: NVIDIA
De acordo com a Marvell, os aceleradores utilizam a semântica da memória ao trabalhar com dispositivos de armazenamento em sistemas SCADA. No entanto, os SSDs em si são inadequados para essas tarefas, pois não conseguem fornecer as IOPS necessárias quando milhares de threads paralelas solicitam conjuntos de dados menores que 4 KB durante a inferência. Isso leva à subutilização do barramento PCIe, sobrecarregando a GPU e desperdiçando ciclos. Em uma arquitetura centrada na CPU, adequada para treinamento de modelos, existem dezenas, em vez de milhares, de fluxos de dados paralelos, e os blocos de dados são grandes. Os SSDs exigem alta capacidade e taxa de transferência, bem como baixa latência, já que PCIe e Ethernet também contribuem para a latência dentro do sistema de armazenamento.
A introdução do PCIe 6.0 e do PCIe 7.0 certamente acelerará a transferência de dados, mas os controladores de SSD também precisam de uma atualização. Eles devem ser capazes de utilizar os recursos do SCADA, ter esquemas de correção de erros otimizados para pequenos blocos de dados e ser multiprotocolo (PCIe, CXL, Ethernet). A Micron também está envolvida no desenvolvimento de SCADA.
Fonte da imagem: Micron
Na SC25, a Micron demonstrou um protótipo de armazenamento SCADA baseado na plataforma H3 Falcon 6048 com PCIe 6.0 (44 SSDs NVMe E1.S + 6 GPUs/DPUs/NICs), equipado com 44 unidades Micron 9650 (7,68 TB, até 5,4 milhões de leituras aleatórias em blocos de 4K com profundidade de fila de 512, PCIe 6.0), três switches Broadcom PEX90000 (144 pistas PCIe 6.0 cada), um processador Intel Xeon (PCIe 5.0) e três aceleradores NVIDIA H100 (PCIe 5.0). A Micron afirmou que o sistema “demonstra escalabilidade linear de desempenho de 1 a 44 SSDs”, atingindo até 230 milhões de IOPS, o que é bastante próximo do máximo teórico de 237,6 milhões de IOPS.
“Combinada com PCIe 6.0 e SSDs de alto desempenho, a arquitetura [SCADA] permite acesso a dados em tempo real para cargas de trabalho como bancos de dados vetoriais, redes neurais gráficas e pipelines de inferência em larga escala”, concluiu a Micron.
Se você encontrar um erro, selecione-o com o mouse e pressione CTRL+ENTER. | Você consegue escrever uma versão melhor? Ficaremos felizes em receber sua contribuição.
Fonte: