新旧存储更替,对象存储如何使数据的访问和迁移更平滑?

Sort:存储知识 Release time:2023年03月09日
Share:

当前,对象存储凭借大规模集群下的整体性能优、扩展能力强、运维管理效率高、可用性和可靠性高等特点,受到各行业越来越多企业的青睐。

在存储架构升级更替过程中,企业往往会面临如下场景的选择:

● 替换旧存储(如NAS存储),在业务切换至新存储的同时,将旧存储的数据迁移至新存储。

● 不完全替换旧存储,旧存储用于存放存储切换前的数据,新存储存放切换后的新数据。

● 不完全替换旧存储,旧存储用于存放存储切换前的冷数据,新存储存放所有的新数据及部分旧存储中的温数据及价值数据。

无论选择哪种场景,企业都会面临业务切换及数据迁移的挑战,如何最大化缩短业务切换的时间,快速将数据迁移至新存储?杉岩对象存储通过回源和异构两种技术方案,满足用户在不同场景下的业务切换需求。

对象存储回源:利旧访问,数据无缝迁移


对象存储回源技术是指在需要访问的文件不在杉岩对象存储系统时,客户端可通过设定的回源规则,从源地址获取到正确的数据。根据规则的类型,可分为代理模式、镜像模式、CDN模式。

代理模式

当客户端应用访问的文件不在杉岩对象存储时,杉岩对象存储代理客户端访问源数据,然后其返回给客户端应用。

图2 对象存储回源技术:代理模式


使用场景:

1) 企业已有一套存储,在新存储上线后,新产生的数据往新存储中读写,原本存放在旧存储中的数据依然保留并能够通过新存储按需读取。业务方要求客户端访问数据时,可通过统一访问入口访问旧存储和新存储中的数据。

2) 企业已有一套存储,在新存储上线后,新存储用于存放新业务系统数据,旧存储依然承接原有业务的读写,业务方要求新业务的系统客户端能通过统一访问入口访问旧存储和新存储中的新数据。

镜像模式

当客户端应用访问的文件不在杉岩对象存储时,杉岩对象存储代理客户端访问源数据,然后其返回给客户端应用,同时数据保存至本地存储。

图3 对象存储回源技术:镜像模式


使用场景:企业已有一套存储,在新存储上线后,新产生的数据往新存储中读写,原本存放在旧存储中的数据可通过新存储按需读取。业务方要求客户端访问数据时,可通过统一访问入口访问旧存储和新存储中的数据,当所访问的数据在旧存储时,将旧存储的数据复制至新存储。

CDN模式


当客户端应用访问的文件不在杉岩对象存储时,杉岩对象存储代理客户端访问源数据,然后其返回给客户端应用,同时数据保存至本地存储,在一定的时间后删除这部分数据。

图4 对象存储回源技术:CDN模式

使用场景:企业已有一套存储,在新存储上线后,新产生的数据往新存储中读写,原本存放在旧存储中的数据可通过新存储按需读取。业务方要求客户端访问数据时,可通过统一访问入口访问旧存储和新存储中的数据,当所访问的数据在旧存储时,将旧存储的数据复制至新存储,在新存储中保留一定的时间后删除。

异构纳管NAS数据,业务上线时间大大缩短


在企业用户进行对象存储升级改造时,工作量最大的往往不是业务系统的代码改造,而在于数据的迁移与校验,其中会消耗大量的时间与人力,为业务的割接上线带来了许多阻力。

杉岩对象存储在满足海量非结构化数据存储需求的同时,通过支持NAS/S3异构功能彻底解决了上述难题。通过将原有NAS/S3的元数据进行纳管,并将其转换为对象存储中的对象属性信息,统一命名空间。纳管完成后,无需进行大量的数据迁移,前端业务即可同时访问对象存储及NAS中原有的数据,免去了数据迁移与校验的繁琐过程,业务上线的时间大大缩短。

此外,用户也可通过生命周期转移功能,在业务空闲时自动将NAS中的历史数据逐步迁移至对象存储集群,无需人为干预。

使用场景:新存储上线后,新存储完全替换老旧存储提供数据读写功能,数据需全量迁移至新存储。在数据未完全迁移前,旧存储需提供访问功能。

回源+异构组合拳,实现全量数据平滑迁移


虽然通过异构纳管和回源功能,能够解决在某些利旧场景下的数据迁移相关问题,但存在一些无论是用回源还是异构纳管技术都无法完全匹配的场景。例如,用户需要实现业务的快速切换,同时需要将老旧数据全量迁移至新存储;或是既要迁移全量数据至新存储,又希望能快速迁移旧存储中的高频访问数据,这两种场景下,仅用回源或者异构纳管功能是无法满足的。

场景一:在新存储上线后,新存储完全替换老旧存储,因此数据需全量迁移至新存储,但在数据未完全迁移前,旧存储需提供访问功能,且有一定比例的数据需要高频访问,需要优先迁移高频访问数据。

在此种场景下,通常的解决方案是通过异构的方式,将NAS/S3纳管,然后在闲时将数据进行迁移。但缺点在于无法区分哪些数据是高频访问数据,只能在闲时通过全量扫描的方式进行迁移,导致需要高频访问的数据访问的时延增加,从而可能影响业务的正常运行。

杉岩数据通过将异构和回源技术结合,轻松解决了此类场景下的数据迁移挑战。如下图所示,在通过回源迁移高频访问数据的基础上,通过异构的方式在闲时迁移全量数据,满足对数据的高频访问需求,实现数据平滑迁移,业务无感知。

图5 对象存储回源+异构,实现数据平滑迁移

场景二:新存储上线后,规划新存储彻底替换老旧存储,但是当旧存储的写入目录分布非常随机,新存储做旧存储增量异构必须扫描大量目录,导致业务切换停机窗口大大拉长。此时,可以在新存储上配置回源规则,业务基于新存储可以访问新旧数据,实现业务秒级切换到新存储,再基于异构功能逐步全量迁移数据,从而通过“异构+回源”组合拳满足快速切换和全量数据迁移的需求。

价值总结


数字经济时代,数据增长挑战与日俱增,企业在升级存储架构时,需要充分考虑资源利旧,实现数据平滑迁移,最大限度降低对业务应用的影响。杉岩数据利用领先的分布式对象存储技术,帮助企业解决高速成长过程中的数据存储、管理、利用难题,实现更高效、安全、易用的IT基础架构升级,保障企业用户的业务连续性,加速创新发展。

Your privacy is important to us

We use cookies to personalize and enhance your browsing experience on our website. By clicking "Accept all cookies", you agree to the use of cookies. You can read our Cookie Policy for more information.

Phone

Service Hotline

400-838-3331

More contact information

Top

Scan code attention