智能应用高速发展,引发非结构化数据存储需求大爆发,各行业每天都在产生大量数据,比如:新增数据中,80%以上都是非结构化数据,在商业领域中,占比更是超过了95%,随着企业逐渐向互联网化转型,一些新兴的应用场景开始出现,以传统IT+新型IT为代表的双模IT共同驱动企业未来的数字化发展。传统IT主要承载稳态业务,新型IT承载敏态业务。
企业的业务需求也在不断变化,新需求也在推动存储技术不断迭代创新,容量更大、架构更灵活、数据的跨业务检索和共享更加方便。金融机构同样面临挑战:一方面是业务需求更加精细,业务凭据无纸化、重要资料长期保存且随时调阅、金融质检要求越来越高(图片清晰度、音视频质量等);另一方面是监管政策更加严格,“双录”规范的合规性审查、合同/票据/保单等电子档案的监管。
传统SAN存储,更适合数据块读写,无法感知数据内容,容量多是百TB级规模,性能受限于控制器,不适合海量非结构化数据存储;传统NAS存储,采用目录树结构存储文件,不区分主数据和元数据,当文件数量越大,目录层级越深,检索性能越差,并发访问性能也差。
面对海量非结构化数据存储场景,传统SAN、NAS存储力不从心,对象存储应运而生。以杉岩MOS产品为例,不同于NAS的目录树结构,对象存储通过扁平化的文件组织结构,只有桶、对象,前端业务系统通过对象的唯一标识符(类似于身份证)进行数据访问,不论文件规模多么大,检索性能不受影响。支撑千万级并发访问、百亿级文件、EB级容量规模,底层硬件是通用服务器,成本低,而非价格高昂的专用存储控制器。此外,高性能文件接口,满足企业用户对文件协议访问的需求;通过Http接口访问对象,访问不受地点限制,简单易用;支持对数据做关联分析和模型训练,结合AI挖掘数据价值SAN、NAS、对象,各有适合自己的应用场景,如右下角的坐标图。
杉岩MOS可以为用户提供三层价值,分别是:数据存储,体现在灵活的系统架构;数据管理,体现在丰富的管理策略;数据智能,体现在价值的智能挖掘
传统IT架构,竖井式,资源浪费严重;云化IT架构,虚拟化,但底层存储设备仍然不能够统一命名空间,单台存储设备仍然是一个独立的命名空间,某个数据完全存放在某台存储设备之内,数据访问仍然存在跨设备的问题。杉岩MOS,底层基于通用的服务器硬件,搭载对象存储软件,构建一个统一的命名空间,底层存储空间对于前端业务是完全共享的。前端数据存下来,分散存放在底层各个节点上,而且扩容简单,不需要繁杂的布线、界面操作、配置修改等。
杉岩MOS采用分布式的架构,更加灵活,弹性扩展,每个节点自带计算资源和存储资源,容量、性能随节点的增加而线性增长,能够提供千万级IOPS、TB级聚合带宽、EB级容量、百亿级文件规模,海量小文件性能稳定,通过多副本、纠删码提供数据安全保障,基于通用服务器,成本上要比传统存储设备更有优势。纳管NAS时,可以根据原来NAS存储里的数据属性(数据产生时间),自动迁移到MOS的热池或冷池中;多版本实现文件恢复,内置备份功能,无须第三方备份软件和硬件设备,节省成本,通过CDP功能,对桶对象进行大批量的恢复,避免单个对象操作的工作量。
传统存储,硬件堆叠,元数据服务器、AI服务器等硬件成本投入;读写流程复杂,业务效率低;杉岩MOS,集成元数据检索功能,无需专门的检索服务器,集成智能数据处理引擎,图片处理、文件格式转换、人脸识别、音视频内容提取等均在MOS内部完成,不需要专门的AI服务器硬件,业务流程进一步简化。
企业级存储能力,支持传统存储接口,包括NFS、CIFS等,配置小型化,满足不同规模企业的部署需求,适配多种软硬件平台,持续拓展生态合作
杉岩海量对象存储在金融领域和医疗领域的应用场景如下:
第三是部分案例分享,中广核集团公司级高性能海量文件存储平台,通过数据同步与分发架构,在存储层面实现数据的统一命名空间与自由流动;统一的文件视图,实现集团内的知识共享,提高数据管理和利用效率。
北京大学深圳医院打造综合PACS影像系统,通过MOS纳管现有NAS,实现数据无缝迁移,集中管理,大数据量下支持高并发访问;数据分级存储,热/温/冷全生命周期智能管理,数据自动归档,内置检索引擎消除数据孤岛;线性扩展,性能随容量增加而线性提升。