大规模部署容器的正确姿势——你的存储方案选对了吗?

Sort:存储知识 Release time:2020年12月02日
Share:

大规模容器部署,传统存储挂载效率低


容器的诞生并不是为OS抽象服务的,这是它和虚拟机最大的区别,这意味着容器天生是为应用环境的适配而服务,容器的伸缩也是基于容器的“一次性”特性。与之相对的,实现数据持久化的存储方案的特征刚好相反。

容器提供的存储解决方案是利用卷接口形成数据的映射和转移,以实现数据持久化的目的,但这会造成资源的浪费和更多交互的发生。尤其对于那些无需修改文件内容的应用而言,如果底层采用块存储或文件存储,每次读取数据都需要将存储资源挂载到本地,会严重影响业务效率。


免挂载和高并发能力凸显对象存储优势


免挂载存储加速数据服务

随着企业业务互联网化发展,大规模应用部署在容器平台,成百上千的POD启动时执行非常消耗系统资源的挂载操作,会对存储性能提出很高要求,甚至出现挂载失败的现象;而对象存储中,POD启动无需挂载存储,只有在业务访问文件时,才会跟存储建立连接,所以在POD批量创建/启动变得轻松自如。对那些无需修改文件内容的应用而言,对象存储将会是更好的选择。

容器化部署无疑为企业上云提供了绝佳环境。加之对象存储通过S3/OSS接口,可无缝对接公有云平台,打造混合云存储方案,实现应用、数据在云端和本地的灵活迁移。


图1.免挂载存储加速数据服务


支持海量并发访问

拥有超大规模数据管理能力并维持性能不下降是对象存储相对于文件存储的最大优势。文件存储采用了树形结构对所有文件和目录进行管理,当文件或目录过多时,文件或目录的检索性能就会极大下降。对象存储只有桶和对象两层结构,这种扁平化的结构即使对象数量达到百亿级别,对象的检索速度依然不会有大的变化。

对象存储相对于文件存储的核心差异包括:


  • 对象存储支持海量并发,可以直接面对终端用户(1K-1M以上的并发),文件存储一般并发在1K以下

  • 对象存储支持不确定的数据增长,系统弹性很大,具有超大容量的扩展能力


为了实现海量客户端的并发访问和超大容量的扩展性,对象存储采用HTTP协议来传输数据,内部节点没有主备之分,每个节点都能处理业务,而不是在内部转发。

传统B+树等数据组织模式是无法满足这种需求的,因为文件存储面对的是企业客户访问需求,CIFS/NFS等文件传输协议的设计理念就是为了解决小范围的文件共享,并不是为了解决大规模的客户端访问。

稳定性毋庸置疑

NAS经过多年发展,主流产品的稳定性毋庸置疑。双控制器架构保障稳定性,中低端NAS通过RAID保障可靠性,高端NAS额外增加双活机制来提供低RPO/RTO的数据保护。但是,NAS内部的文件管理采用树形结构,单个挂载点达到5000万文件左右,会出现明显性能下降。

大规模容器部署必然伴随海量数据的产生,对象存储在海量文件场景下的性能稳定性相较NAS而言更具优势。近几年对象存储应用场景越来越多,其商用稳定性已在众多行业的项目中得到验证。主流对象存储厂商都提供多副本和纠删的数据保护机制,可以提供11个9的可靠性。而且对象存储的多节点集群相较NAS的双控架构,尤其是在意外故障情况下,其性能稳定性和数据可靠性更胜一筹。

性价比甚至比NAS更高

某金融机构现有300 TB的存量数据,多是票据、影像等非结构化数据。若不考虑长远规划,采购一套NAS挂磁盘框基本可以解决。但年数据增量超过100 TB,后期扩容会比较频繁,再加上一系列的软件License和服务费用,总成本不一定比对象存储低。这种数据增量比较大的情形,NAS的挂载点会越来越多,管理起来复杂。若采用对象存储,不仅支持弹性扩展,还能减轻运维工作量。人力维护成本今后会越来越高,而且是长期存在的,相比之下设备的一次性采购成本占比会越来越小。

另外,杉岩的对象存储提供文件接口和数据迁移方案,也可以免迁移纳管客户现有的NAS设备,提供统一命名空间的资源池,充分利旧、平滑演进,进一步节省成本。

NAS转向对象存储,根因在于海量数据场景的出现

计算形态不断更迭,存储技术持续演进,但数据常在,只增不减。5年前,全球数据增量只有不到10 ZB,而5年后,这一数字将会跃升到180 ZB。数据的爆发式增长,把对象存储逐渐推向了存储“舞台”的中央,同时也将NAS推向了崩溃的边缘。

从技术驱动角度看,文件组织结构及硬件设计决定了NAS无法应对海量数据存储挑战。目录树的文件组织结构导致海量文件场景下访问性能差,严重影响业务效率。

从市场驱动角度看,基础架构演进支撑业务应用创新,海量数据场景需要大量的硬件资源作为底层支撑,对象存储基于通用服务器而非专有硬件,成本优势非常明显。Gartner报告指出:低获取成本仍然是企业数据中心选择对象存储的最常见原因,无疑印证了这一点。


总结


企业面对的是不断变化的市场,永远会有新的业务要上线,目前未知的数据在今后可能要存储。大规模部署容器,应用类型纷杂多样,对象存储成为不可或缺的选择。海量数据时代,非结构化数据激增,这为对象存储提供了绝佳的舞台;依托海量并发、高可用架构、高性价比等优势,针对大规模容器应用,对象存储无疑是更好的选择。

Your privacy is important to us

We use cookies to personalize and enhance your browsing experience on our website. By clicking "Accept all cookies", you agree to the use of cookies. You can read our Cookie Policy for more information.

Phone

Service Hotline

400-838-3331

More contact information

Top

Scan code attention