最佳实践 | 银行 IT 基础架构转型,如何用对象存储支撑海量数据

Sort:Best practices Release time:2022年05月27日
Share:

为积极探索普惠金融发展模式,国内某商业银行(简称Y银行)不断革新业务和底层技术,携手杉岩数据,用新一代分布式存储技术升级传统存储架构,让营业部柜员操作简化、效率提升,服务客户质量改善,带来了更轻盈、更高效、更安全的服务体验。


数据量攀升,存储系统压力陡增


柜面系统是Y银行工作的第一窗口,柜面业务的无纸化,是对柜员操作和柜面服务的有效改善与升级,为柜面流程优化提供了有力的技术保障。随着柜面无纸化业务的上线,Y银行通过柜面、智能柜台和移动营销等线下渠道、信贷系统办理客户各项业务时产生大量PDF电子回单、在线票据影像文件、电子凭证文档等非结构化数据,非结构化数据每年增长70%左右。考虑到稳定性和可靠性,Y银行柜面系统一直采用传统NAS存储,柜面系统通过改造适配S3接口,进行数据读写。


然而,随着近年来数据量的不断攀升,柜面系统尤其是后端的存储系统压力陡增。Y银行数据中心中的传统存储系统架构面临系统庞大、运维管理复杂、存储性能无法满足等新的挑战。Y银行意识到以下问题:


● 存储的扩展性:传统NAS存储设备受控制器能力限制及光交端口限制等因素,扩展能力有限。当前文件数已达3千万,以KB级别小文件为主,如按照5到10年的时间规划,预计存量数据将增至亿级,现有存储难以应对;且存储性能随着文件数量增多,访问性能下降,将导致柜面、信贷、事后监管等涉及影像的业务效率的下降。

● 硬件品牌锁定:传统NAS存储为确保管理和维护的便利及跨机房数据灾备同步的需要,偏向于采购同型号的存储产品,以消除异构存储带来的不确定隐患;但同时也造成硬件品牌锁定,扩容必须向原厂采购,成本不可控。

● 存储数据迁移:由于数据需要永久保存,当传统存储设备到一定的使用周期后,需要更换存储时,需要对原有存储进行整体数据迁移,整个迁移过程耗时耗力。

● 异地访问时带宽压力大:现有存储全部部署在总部所在城市,其他城市需异地访问,带宽压力大,影响访问效率。

● 数据归档成本:归档系统主要处理票据影像、图片等海量文件的归档,性能要求不高,容量增长快,考虑到成本因素,希望支持生命周期管理功能,将不常用数据转移到更经济耐用的存储介质。


如何让业务数据“存得下、管得好、用得爽”?


交易数据、历史归档数据等数据存储的可靠性、安全性直接影响客户的资金安全,数据的存取效率也直接影响服务体验和管理效能。基于Y银行业务发展现状和IT架构规划,在业务快速发展的背景下,如何让业务数据“存得下、管得好、用得爽”是Y行重点思考和要解决的问题。


1. 目前底层存储架构的扩展性受限,只能纵向扩容。新存储架构建设要以对现有存储中的海量数据进行整合、精简存储架构为出发点,考虑采用支持横向扩展的分布式存储架构,以满足Y银行当前乃至未来数年内业务发展的各项存储需求。


2. 随着文件数量的增加,要求底层存储架构的性能不会受到大的影响,让数据高效存取,同时要支持多种协议接口,可用性高,以保证与上层业务的适配。


3. Y银行柜面系统和归档系统虽属于非核心交易系统,但数据重要性也是不言而喻。在存储升级更替过程中,更要严谨考虑其操作的复杂性和风险性,能让现有数据进行平滑迁移。


4. 存储系统要同时具备跨数据中心存储和数据同步的能力,以实现数据的跨数据中心灾备,当故障发生,可以实现异地无缝切换,满足业务系统高可用和灾难保护的要求。


升级分布式架构,构建高可靠、高性能、弹性存储池


面对日益壮大的客户队伍,为提升柜面系统的服务效率和归档系统的可靠性,针对以上存储问题,在充分考虑项目建设目标与产品选型思路的情况下,经过严格测试和综合对比,Y银行最终选择与在软件定义存储领域深耕多年的杉岩数据合作,通过引入分布式存储技术,共同打造高性能、高可靠、高扩展和高可用的分布式存储架构。


方案利用通用x86服务器部署杉岩MOS海量对象存储软件,通过万兆以太网络内部互联进行链接,构建高可靠、高性能、统一、弹性的存储资源池,满足PDF电子回单、票据影像数据在内的图片、视频、文档等海量非结构化数据的存储需求,并提供高并发及高带宽的终端访问,支持柜面无纸化、归档等多个业务和应用。



图 Y银行基于杉岩MOS建设分布式存储资源池


● 升级分布式对象存储:在通用x86服务器上部署杉岩MOS软件,替代原有NAS,可以按需在线进行横纵双向扩展,同时性能随着节点数量的增加线性增长,保障毫秒级访问,利用小文件合并技术提升空间利用率,满足未来柜面系统产生的海量非结构化数据长期安全存储需求。

● 保障数据可靠性:可靠的副本或EC纠删码方式存储海量非结构化数据,可防止数据篡改、替换和窃取,即使个别节点或者硬盘故障,也能确保数据不丢失,保证业务系统的高可靠性和连续性。

● 数据分级存储:由于Y银行非结构化数据总量较大,众多归档数据鲜少被再次调用,如果都采用高性能存储设备,成本会大幅提高。杉岩MOS支持冷热数据分层迁移,数据全生命周期管理,将归档数据自动迁移至低成本存储介质。

● 纳管利旧:杉岩MOS提供文件接口和数据迁移方案,纳管客户现有的NAS设备,提供统一命名空间的资源池,省去了数据迁移与校验的过程,实现业务系统的快速切换与上线,充分利旧,进一步节省成本。除支持S3外,还支持NFS、SMB、FTP、CSI、HDFS等丰富的接口,更好地与业务应用适配。

● 跨站点双活数据中心:总部作为整个Y银行的数据汇聚和分发中心,异地某市作为灾备中心,采用双活高可用部署架构,两个数据中心部署全栈系统,包括柜面系统、归档系统等,实现跨站点复制备份和归档数据,支持站点级故障条件下业务快速恢复。同时,可以就近提供数据服务,提高分支机构应用的数据访问速度。


成效显著:弹性扩容、性能提升、运维简化


Y银行采用杉岩MOS构建非结构化数据存储资源池,为多种业务应用提供存储服务支撑,存储架构焕然一新,主要收益有:


● 弹性扩容,性能提升:借助杉岩分布式对象存储架构,进一步简化存储架构,缩短服务交付时间,无需规划,根据业务要求灵活、弹性扩展存储资源;同时,解决海量小文件并发存储效率问题,满足未来海量非结构化数据的存储需求。

● 软硬解耦,成本可控:得益于杉岩MOS海量对象存储良好的兼容性,支持通用x86服务器以及异构CPU硬件,分布式存储软硬件解耦,无品牌锁定,成本可控。随着硬件的更新换代,存储平台可以及时享受到硬件技术革新带来的好处。

● 统一存储,运维简化:一个运维管理系统,人性化操作的界面,资源管理简单,执行策略化,给IT人员带来更高的运维管理效率,同时也节省人力时间成本。

● 多站点部署,安全便捷:杉岩MOS跨站点双活方案,数据可就近访问,让Y银行实现跨地域的容灾备份,保证访问便捷性和数据安全。

● 数据标签化,赋能价值挖掘:采用冷热数据分层设计,实现影像数据标签化,其他业务系统可快速调用存储层数据,解决了海量非结构化数据管理和交互的难题。同时支持对接大数据分析平台,加速数据价值挖掘。


在数字化转型的浪潮中,Y银行积极拥抱金融科技,携手杉岩数据,采用分布式存储技术,通过底层技术革新,为金融业务的发展注入敏捷的互联网科技基因,为个人和企业客户提供更加智能化、综合化的金融服务。


目前,Y银行基于杉岩MOS建设的新一代数据中心安全平稳运行,性能及可用性完全满足Y银行业务需求。杉岩数据也将继续专注产品技术打磨,不断创新智能存储科技,为更多金融机构的业务发展提供稳定可靠和高效优质的分布式存储能力。


Your privacy is important to us

We use cookies to personalize and enhance your browsing experience on our website. By clicking "Accept all cookies", you agree to the use of cookies. You can read our Cookie Policy for more information.

Phone

Service Hotline

400-838-3331

More contact information

Top

Scan code attention