近日,杉岩MOS海量对象存储V6.2版本正式发布,针对客户需求进行了大幅更新,从海量数据存储、智能数据处理、生命周期管理和混合云生态这四个维度进行了全面升级,让数据资产存有所用、用有所值,助力企业向新型IT架构转型,从容应对大数据挑战。
加固存储底座,安全、性能、空间利用全线升级 存储规模提升:单桶30亿文件 单桶存储规模是决定海量存储能力和效率的重要指标。在新版本中,MOS在保证高性能的同时,单个桶可存储30亿文件,轻松支撑海量规模,尤其是面临百亿、千亿级文件存储需求时,能够极大精简桶数量,进一步提升管理效率。 安全性提升:数据静态加密
政府、金融等特定领域的客户对数据保密性有着严苛要求,MOS新增支持数据上传自动加密,用户可通过界面配置加密方式,确保数据的物理安全,避免数据泄露,满足安全合规要求。
图1 数据加密,极致安全保障
利用率提升:数据去重、全局均衡
企业内部往往运行多个业务系统,其产生的数据均写入底层统一的对象存储资源池,不同的业务系统难免写入重复的数据,这样就造成了空间浪费,成本自然抬高。MOS新增对象级去重功能,管理员可针对不同的桶或用户选择是否启用去重策略,有效节约容量,降低成本。
在数据均衡方面,旧版本通过将桶与多个存储池(Pool)关联,避免了扩容时业务配置必须变更桶以及引发数据大规模搬迁的问题。但是当一个存储池的容量快写满时就被系统设为只读模式,新数据只能写入新关联的存储池,这种模式无法充分发挥所有存储池的性能潜力,更适应历史数据几乎不删除的场景。在新版本中,MOS可自动感知每个存储池的容量,并做全局数据智能均衡,充分发挥存储池的性能,空间可以重复利用,存储扩容对业务完全透明。
性能提升:IPFS接口优化、NFS性能增强
IPFS的快速发展为对象存储开辟 了一个新的应用场景。IPFS要求矿工每半个小时向主链提交一次时空证明结果,该过程涉及大量的数据随机抽取。分布式文件系统或普通的对象存储,一次读请求只能获取一个扇区内一个叶子节点的数据。MOS在新版本中对IPFS读操作进行了优化,将数百个读请求聚合为一个请求,15秒即可读完一个片区,极大缩短了时空证明耗费的时间。
图2 IPFS读性能优化,加速时空证明
MOS在新版本中对NFS接口服务也做了升级。除了支持NFS网关的故障自动切换,通过架构上的垂直优化,整体性能较之前提升100%,能为无法适配S3接口的传统业务提供更强大的存储支撑。
此外,随着网络生态从IPv4向IPv6过渡,新建数据中心必然考虑IPv6组网,MOS新增对IPv6协议的支持,为用户免除后顾之忧。
为AI量身定制,更强大的智能数据处理引擎
100+自动标签,多维度利用数据价值
机器学习是人工智能应用的重要场景,以无人驾驶为例,人工先期采集图片、视频等路况信息,并对其添加各种各样的标签,进而利用机器学习平台进行训练和推理。为了让无人驾驶平台更精准的判断路面信息,标签信息的数量和丰富度无疑是重要影响因素之一。在新版本中,MOS支持对单个文件添加标签数量超过100个,用户既可以通过智能数据处理引擎对文件自动添加标签,也可以手动辅助添加。另外,MOS还可基于标签信息进行模板化检索,实现检索能力与业务需求紧密贴合,数据获取更精准,价值利用效率进一步提升。
基于生命周期的智能处理,贴合业务需求
许多客户需要对数据进行二次处理,MOS智能数据处理引擎正是为此而生,即在存储内部完成图片转码、OCR识别、视频添加水印等处理能力,精简业务流程。但在旧版本中,MOS只支持数据上传时选择处理策略,上传完成后立即执行数据处理操作。在新版本中,用户可通过设定生命周期管理策略,在需要的时间点自动触发数据处理,满足更多场景需求。
图3 基于生命周期策略的智能数据处理
构建全局视野,全生命周期管理能力再升级 生命周期管理策略更精细
在旧版本中,基于生命周期策略的数据转移和批量删除,仅支持当天内(比如:今天凌晨1点至4点)进行,当客户希望跨天(比如:前一日晚上10点到第二天凌晨4点)进行这些操作是不支持的,客户体验不好。新版本对此进行了优化,支持生命周期策略的跨天配置,用户可按需对每天的日间和夜间、每周的工作日和休息日来设定数据转移、删除策略,让数据生命周期与业务周期联动,更加方便。
异构管理升级:纳管标准S3存储
由于IT发展的渐进性,企业数据中心往往部署了不同厂商的存储设备,比如NAS存储和S3对象存储。在IT演进过程中,新存储对旧存储的异构管理能力决定着总体成本支出。MOS在支持纳管传统NAS的基础上,新增支持纳管标准S3存储,比如开源Ceph。整个纳管过程无需停机,在保证业务连续的同时实现架构平滑演进,而且保护了客户现有投资,节省整体成本。
图4 纳管异构存储,保护现有投资
运维升级:日志分析辅助业务决策
业务访问对象存储的过程中会产生大量访问日志,其中隐含了很多有价值的信息,但往往由于数量多、缺乏一体化分析手段而被忽略。在新版本中,MOS可根据用户设定的策略,将业务访问日志形成日志文件自动写入指定的Bucket,业务端可根据需要对日志文件进行审计查询或统计分析,满足合规审计需求,同时给业务决策提供支撑。
打通“任督二脉”,多云联动加速企业云化转型
随着云计算实践的深入,企业市场对混合云的接受度普遍提升。未来3到5年,中国企业混合云部署比例预计超过70%,杉岩在混合云生态方面也在持续发力。新版本中,MOS新增兼容华为云,混合云生态进一步完善。
截至目前,MOS可无缝对接包括阿里云、腾讯云、华为云和天翼云在内的头部公有云厂商,支持将数据从本地对象存储自动分层或复制到公有云,满足云端协同、敏捷高效、成本可控、安全合规等要求,为企业云化转型提供了更全面的解决方案。
图5 云端联动构建完善的混合云生态
不难看出,MOS V6.2版本从多个维度实现了能力升级。作为数字底座,性能、安全、利用率全面提升;作为智能存储,智能数据处理引擎的价值更加凸显;作为管理平台,生命周期管理、异构管理和运维管理更加方便;面向未来,混合云生态进一步完善。MOS无疑是大数据时代存储底座的绝佳选择。