产品概述
SandFS:面向 AI 训练的全闪存并行文件存储
杉岩高性能文件存储 SandFS 面向 AI 训练,承担训练数据集加载、模型权重加载与 Checkpoint 存取等高并发读写,采用全闪存并行架构,支持 RDMA/RoCE 高速网络与 GPUDirect Storage,兼顾大文件高带宽与小文件高并发读写,全面加速 AI 训练数据访问。
产品特性
打通训练数据通路,提升算力有效利用率
全闪并行|全闪存并行架构,文件读写全面加速
•全闪存并行架构横向扩展,聚合带宽随节点数近线性增长,支撑集群扩容;
•兼顾大文件高带宽与海量小文件高并发,适配数据集加载与模型权重加载。
高速直达|数据直通显存,训练快速续训
•RDMA/RoCE 网络结合 GPUDirect Storage,减少内存拷贝,降低 CPU 负载;
•Checkpoint 高带宽写入与快速加载,缩短训练暂停,中断后快速续训。
高效经济|弹性EC与Tiering,降低单位容量成本
•纠删码(EC)数据保护,相较多副本显著提升磁盘空间利用率;
•集群内分层(Tiering),同一命名空间支持SSD与HDD分层存储,兼顾性能与成本。
兼容开放|兼容主流生态,平滑接入现有环境
•支持高性能客户端、NFS/SMB、S3 与 K8s CSI,适配 PyTorch 等 AI 框架;
•兼容鲲鹏、海光等国产 CPU 及主流操作系统,满足信创要求。
典型应用场景