Não há necessidade de SSDs: OFP promete aumentar a densidade de armazenamento All-Flash em uma ordem de magnitude e reduzir os custos de infraestrutura pela metade

A iniciativa Open Flash Platform (OFP) visa repensar completamente a memória flash em data centers de IA. Os participantes da OFP — Hammerspace, Linux Foundation, Laboratório Nacional de Los Alamos (LANL), ScaleFlux, SK hynix e Xsight Systems — pretendem abandonar o armazenamento e os controladores all-flash tradicionais. Em vez disso, propõem o uso de cartuchos flash com o mínimo de preenchimento de hardware e o fornecimento de acesso a esses conjuntos via DPU e pNFS.

Conforme observado no comunicado à imprensa, o OFP atende a muitos dos requisitos fundamentais que estão surgindo na próxima fase do armazenamento de IA. A IA requer quantidades realmente enormes de dados, mas, ao mesmo tempo, os data centers estão enfrentando escassez de energia, aumento de temperaturas e falta de espaço disponível. É por isso que o OFP decidiu que seria melhor projetar infraestruturas de armazenamento para IA do zero.

Enquanto a tecnologia NVMe elevou a memória flash a um novo patamar de desempenho há 10 anos, eliminando barramentos de dados e controladores legados, a OFP agora promete liberar o poder da memória flash, eliminando os intermediários de servidores de armazenamento e pilhas de software proprietário. A OFP se baseia em padrões e soluções de código aberto, como o Parallel NFS (pNFS) e o Linux padrão, para colocar a memória flash diretamente na SAN. E a eliminação dos sistemas de armazenamento tradicionais proporcionará uma densidade de dados muito maior, economias significativas de energia e um custo total de propriedade significativamente menor.

Fonte da imagem: openflashplatform.org

A OFP observou que as soluções existentes estão inerentemente vinculadas a um modelo de servidor de armazenamento que exige recursos excessivos para atingir desempenho e capacidades. Os projetos de todos os fornecedores atuais de AFA não são otimizados para a densidade máxima de flash e estão vinculados à vida útil da CPU (normalmente cinco anos), enquanto a vida útil média do flash é de oito anos. Esses servidores de armazenamento também oferecem estruturas proprietárias e níveis de armazenamento de dados, resultando em mais cópias de dados e custos de licenciamento adicionais para cada nó.

Comentando sobre a iniciativa, a Blocks&Files observou que a Pure Storage e outros fornecedores de AFA já oferecem esquemas otimizados de licenciamento e assinatura, incluindo atualizações de controladores e prateleiras de discos. A Pure Storage oferece maior densidade de armazenamento do que muitos outros fornecedores, embora utilize soluções proprietárias. O suporte a DPU também não é nenhuma surpresa. Por exemplo, a VAST Data já oferece suporte ao seu software no NVIDIA BlueField-3. E a maioria dos fornecedores de matrizes flash já oferece suporte a RDMA e GPUDirect.

A OFP defende uma abordagem aberta e baseada em padrões que inclui vários elementos-chave:

• Dispositivos flash baseados em QLC (mas não só) para maior densidade. A compra não deve ficar vinculada a um único fornecedor (embora esta seja exatamente a situação atual do mercado).
• IPUs/DPUs que amadureceram o suficiente para substituir CPUs muito mais exigentes para serviços de dados. Menores custos e consumo de energia significam eficiência muito maior para serviços de dados.
• Cartuchos OFP que incluem todo o hardware necessário para armazenar e fornecer dados em um formato otimizado para baixo consumo de energia e maior densidade de flash.
• Chassi OFP que acomoda vários cartuchos OFP e fornece distribuição de energia e capacidade de montagem em rack.
• Linux como a principal plataforma de software com uma implementação NFS padrão (mas isso já é um padrão da indústria).

Ao utilizar arquiteturas abertas e componentes padrão do setor, o OFP proporcionará melhorias significativas na eficiência do armazenamento, afirmam os fundadores da iniciativa. Ele promete um aumento de dez vezes na densidade de dados, permitindo que 1 EB seja “compactado” em um único rack, reduzindo o consumo de energia em 90%, aumentando a vida útil do flash em 60% e reduzindo o custo total de propriedade (TCO) em 60% em comparação com matrizes de armazenamento padrão.

De acordo com a Blocks&Files, em sua forma atual, o OFP parece mais uma iniciativa de marketing, da qual seus participantes serão os principais beneficiados. O conceito de SSDs de “rede” não é novo. Na primavera, a Kioxia apresentou SSDs com “ótica”. Sim, aqui estamos falando mais sobre acesso em bloco e NVMe-oF, mas, por exemplo, a Nimbus Data apresentou o ExaDrive EN com suporte a NFS no ano passado.