产品概述
SandOcean：面向多模态 AI 数据的统一数据湖
杉岩 AI 数据湖 SandOcean 位于 AI 数据链路前端，承担多源多模态数据的统一归集、预处理与 AI 供给。依托 EB 级弹性扩展、多协议统一访问、智能数据处理与冷热自动分层四项核心能力，将分散的原始数据转化为可复用的训练就绪数据。处理后的训练就绪数据按需供给下游计算集群，训练结果回流入湖统一管理。
产品特性
贯通 AI 数据链路，加速数据转化为模型能力
海量扩展｜EB 级弹性扩展，全局统一命名空间
•容量在线扩展至 EB 级，支撑千亿级文件，扩容过程业务不中断；
•多源多模态数据与业务数据库统一入湖，免除中转存储与重复拷贝。
高效流动｜多协议统一访问，贯通 AI 数据全链路
•S3、NFS、SMB、FTP、HDFS 多协议统一访问，数据免拷贝共享；
•基于标签与元数据快速检索与筛选样本，缩短训练数据集组织周期；
•打通归集、预处理、训练到推理的 AI 数据链路，训练就绪数据直接供给。
智能处理｜预处理就近执行，提升数据准备效率
•解码、缩放、转码等算子在存储侧执行，减少 90% 以上无效数据搬运；
•原始数据与处理结果统一存放，处理过程可追溯，数据可重复利用。
智能分层｜冷热数据自动分层，降低存储成本
•热数据驻留高性能层，温冷数据自动分级至低成本介质，降低存储 TCO；
•历史数据保持在线、按需回迁，支撑模型回溯分析与数据再处理。
