联系方式

售后服务热线

售后服务热线 400-838-3331转3

售后服务热线

关注官方公众号

服务邮箱

服务邮箱 support@szsandstone.com

服务邮箱

关注杉岩小助手

智能化管理10亿文件,G证券是如何做到的?

分类:存储知识 发布时间:2020年05月21日
分享:

证券公司每天产生的数据中80%以上是非结构化数据,持续的数据增长,证券服务向智能化、敏捷化、价值化方向发展,对后端存储提出了挑战。



1、变革的动力:证券信息化升级


以影像、图片、扫描件为主的非结构化数据激增,数据量从TB级向PB级跃进。每年新增大量应用,复杂性增加,海量文件的访问性能面临新挑战。


机构内部业务繁杂,存在数据壁垒,需搭建统一数据平台,提高跨业务共享效率。技术演进推动应用的容器化部署,这要求存储吸收容器技术提供持久化存储服务。利用大数据的价值,借力AI实现业务创新,比如智能运维(AIOps),进一步降本提效也是大势所趋。如果存储自身能够提供AI能力,支撑智能运维,自然是锦上添花。


G证券公司(后文简称“G证券”)选择分布式存储,开启了集约式数字化档案管理的全新探索。


2、变革迫在眉睫:长期痛点驱使新方案落地


从外部环境来看,2014年以前,证券业客户档案都采用营业部分散管理的方式,风险多,一线员工压力大,掣肘业务开展。从内部需求看,业务数据以小文件为主,且增速很快;加之“双录”规范要求文件保存20年且随时调阅,存储性能严重不足。


G证券面临痛点如下:NAS存储7000万文件,秒级延时性能差;NAS瓶颈凸显,扩容困难;多站点管理不便,主备中心难以高效协同;业务高峰期带宽不足,资源无法合理分配;大文件读取慢,视频播放卡顿,用户体验差;人工运维效率低,构建智能运维平台是刚需。这一切促使G证券面向市场寻求新的存储解决方案。



3、众多方案角逐:G证券为何选择杉岩?



备选方案中,一类是传统存储方案,即用高端NAS满足需求,但未来频繁扩容以及性能瓶颈依旧令人头疼;另一类是分布式存储方案,其在容量、性能、扩展性等方面具备天然优势。


针对前述痛点,方案选型需关注:PB级容量,灵活扩容;性能无瓶颈,访问性能高;运维简单,效益显著;测试对接顺利,业务上线快;售后及时,提供原厂支持。


竞争者中不乏传统存储领域的知名大厂,以及新兴存储领域的创业厂商,杉岩最终凭何赢得G证券认可?


产品及方案完善

杉岩MOS海量对象存储支撑5亿文件毫秒级访问。独有的AI处理引擎,帮助优化质检算法。已接入MOS的业务,无需开发元数据的迁移功能,元数据检索和主数据读取均在MOS内部完成,效率显著提升。


杉岩的三层数据保护方案也让客户感到放心:通过副本和纠删机制,提高数据可靠性;通过内置备份功能,取代外置的备份软硬件;通过跨数据中心容灾,保障业务连续性。


测试结果优异

客户主要关注MOS能否与现有业务顺利对接,以及产品可靠性和稳定性。MOS的S3接口顺利通过接口测试,客户仅用一个小时就完成了单系统对接。近一个月的异常测试,杉岩都顺利通过。


实施服务周到

客户只对原业务进行微小改造,就将原数据无缝迁到MOS。为不影响证券交易,项目实施都在18:00到第二天06:00进行,服务周到。


4、海量、智能、敏捷,杉岩为档案管理提供新选择


先从档案中心宏观架构入手,如图1所示,MOS将源数据区的数据存下来,并与计算层交互。通过部署同城双活,实现RPO分钟级灾备。


图1.G证券档案中心整体架构


图1.G证券档案中心整体架构


具体到解决方案的实现,如图2所示。


(1)MOS替代NAS,保障毫秒级访问;利用小文件合并提升空间利用率;

(2)基于分布式架构,扩展灵活,容量和性能线性增长;

(3)跨数据中心双活模式,多数据中心可同时读写,保障高连续和高可用;

(4)通过智能QoS合理分配带宽和优先级,避免资源抢占;

(5)营业网点通过HTTPS访问存储,提升文件读取效率;

(6)MOS告警信息通过SNMP对接G证券告警管理平台,实现精细化监管。



图2. 杉岩解决方案架构


2017年6月,MOS正式上线,部署12台服务器、4台交换机及百余块硬盘,构建1PB存储集群。


业务数据逐步迁移,MOS支撑5亿文件毫秒级访问


经过半年多稳定运行,G证券逐步将一柜通柜台、投研平台等接入MOS。由于数据增长,原有空间不足,客户在2019年进行首次扩容。通过新建EC故障域将空间利用率从50%提升到67%,成本效益显著。


截至2020年3月,存储集群裸容量超过800TB,对象总数超过5.6亿,每天写入文件7万多个,时延低于百毫秒,性能表现让NAS难以企及。


MOS对接日志易系统,以智能存储支撑智能运维


为构建智能运维(AIOps)平台,将日志易系统迁至MOS。基于分布式架构保障高可用,降低硬件变更的影响;利用MOS特性赋能AIOps,如通过智能QoS实现资源优化;借力AI优化运维策略。


MOS集成智能数据处理引擎,充分释放数据价值

MOS独有的智能数据处理引擎,帮助优化质检算法,释放数据价值,实现了数据存储、处理、灾备、价值发现的一站式管理,如图3所示。


图3. 杉岩解决方案架构


如图4所示,客户借助可视化界面,清晰掌握集群状态,方便又省心。


图4.MOS图形化管理界面



MOS至今稳定运行2年10个月,未出现任何故障,赢得了客户赞许。


5、档案管理能力显著提升,帮助客户实现更大价值


MOS帮助G证券构建集中式数字化档案管理平台,带来明显改观。客户可在全国任一网点办理业务,所有营业部可共享使用数字化档案,在线查阅和借阅客户资料更方便。档案中心可对双录视频进行内容检查,如人脸是否清晰、有无公司标识,系统审核不通过再人工复审,效率高。


新方案的经济效益也十分明显。MOS每TB的价格相比高端NAS低50%左右,省去文档格式转化集群、水印集群所需的硬件设施,节约成本近10万元。


未来的架构演进方向,一是结合MOS的智能数据处理引擎,释放数据价值。比如:利用AI优化质检算法;通过格式转换工具,精简数据结构,提升数据质量;以AI赋能运维,降本提效。二是拥抱互联网金融,加速容器部署,提升微服务能力。


G证券档案管理平台的成功实践,验证了杉岩产品及方案的高品质,也为今后的行业实践打下坚实的基础。


我们重视您的隐私

我们使用 cookie 来个性化和增强您在我们网站上的浏览体验。点击“接受所有 Cookie”,即表示您同意使用 Cookie。您可以阅读我们的Cookie 政策以了解更多信息。

电话咨询

服务热线

400-838-3331

更多联系方式

顶部

扫码关注