作者:浪潮存储资深架构师 叶毓睿、李铮鋆
数据中心的市场扩张意味着海量数据的产生,以5G传输、大数据中心及AI为鲜明特点的城市发展路径势必会带来海量数据存储与管理的难题。面对多形态、多类型数据的指数级增长,“如何存”,“怎样管”将成为“新基建”面临的巨大挑战,是否有一套存储方案可以化解这个问题呢?浪潮存储基于多合一架构,能够在网络架构不变的情况下,在非结构化和结构化,或文件、块、对象等之间进行资源转化,通过现有存储资源进行应用调整满足不同业务场景的需求。
5G大规模商用 带来数据多样化挑战
2020年以来,国家明确将“新基建”作为未来经济增长的驱动力,新基建的核心任务就是要“加快5G网络、数据中心等新型基础设施建设进度”。无论是5G网络,还是数据中心、工业互联网等,都与通信行业息息相关,三大通信运营商将成为新基建任务的主要承担者。
今年,中国移动、中国电信、中国联通、中国铁塔相继公布了2020年的5G投资计划,合计投资总额约2000亿元。据中国信息通信研究院预测,到2025年5G网络建设投资累计将达到1.2万亿元,并将带动产业链上下游以及各行业应用投资超过3.5万亿元。
在这大规模投资过程中,也要正视宏观经济环境带来的客观现实,随着人口红利的消失,“降本增效”将成为未来在企业管理中的一个重要任务,这也是在近几年国内三大运营商的重要经营思路。一边是巨额投资,一边是降本增效,两者之间不是取舍关系,也不是平衡关系,而是如何运用新的技术、新的建设思路,让投资更有效率,发挥出更大的价值。
数据中心的市场扩张意味着海量数据的产生,以5G传输、大数据中心及AI为鲜明特点的城市发展路径势必会带来海量数据存储与管理的难题。面对指数级暴增的数据,“如何存”,“怎样管”将成为“新基建”面临的巨大挑战。
目前,在数据急剧增长的大背景下,对存储需求将呈现以下趋势:一是横向可扩展,随着数据量、客户端连接数量的增长,对容量、连接可横向扩展,打破传统的“烟囱”式建设模式的瓶颈;二是性能线性提升,随着业务规模的上升,连接数量的增长,可以通过横向扩展,带来性能的线性提升。
在数据存储上的挑战,还体现在数据的急剧增长和需求快速变化上,数据量在急剧增长,这是确定的,但需求又在快速变化。如在本次新冠疫情前,互联网行业视频数据迅猛发展,在疫情期间,网络办公数据又出现了快速增长,数据类型、存取方式都存在着较大差异,基础设施提供者一方面面临某类存储资源过剩,而另一类存储资源严重不足的局面,并且设备的追加采购需要一定的周期。对于决策者来讲,未来需求存在模糊性或一定的不确定性,这种特征,在当前业务快速发展并快速变化的趋势下,愈发明显。
是否有一套存储方案可以化解这个矛盾呢?即可在较短的时间内,通过现有存储资源进行应用调整,在网络架构不变的情况下,在非结构化和结构化,或文件、块、对象等之间进行资源转化,满足不同业务场景的需求。
分布式架构 “海纳”块、文件、对象
分布式存储作为这几年应用越来越广泛的存储架构,它可说是为数据爆炸式增长而生,顾名思义,分布式存储将数据均衡分布在多个存储节点上,内部通过万兆或IB等高速网络连接,实现内部数据交换和同步;外部通过万兆或IB与业务网络相连接,为业务应用提供存储空间。
分布式存储拓扑图
分布式存储作为一种全新的存储架构,在互联网行业得到了广泛应用,并在其它行业,比如运营商行业的部分场景下,进行了很好的实践,这也取决于它的优势。
其一,容量横向扩展。集群容量的扩展,通过增加存储节点实现,因为网络强大的扩展性,在理论上节点可以扩充到几千个,可以很好的满足海量存储容量需求。
其二,连接横向扩展。在传统存储应用中,网络接入带宽往往成为瓶颈,主要原因是存储对外接口数量扩展能力有限,而分布式存储则可以很好地解决这个问题,接口数量可以随节点数量的增加,实现接入带宽的行增长。
其三,性能线性提升。每个节点的性能(IOPS\带宽)基本是确定的,整体性能随节点数量的增加线性提升,满足业务规模扩容后对性能的需求。
目前,随着分布式存储技术日臻成熟,原来传统存储领域的技术,诸如远程复制,重删,压缩,双活等,也逐渐在分布式存储上得以实现,从而极大地增强了分布式存储的场景适应性,分布式存储也逐步从互联网行业走向各行各业,从边缘业务进入核心业务。在中国移动,已经将分布式存储应用于NFV等核心业务,中国电信、中国联通在IT和CT业务中,也做了大量实践。在金融行业,招商银行率先开启了分布式存储的集采,用于对接金融私有云,交通银行,浦发银行等针也对分布式存储也开启了项目的试点。这表明,分布式存储已经达到了企业级应用的标准,其成熟度也已经被业内关键行业认可。
分布式存储的主流存储接口(或称为存储服务)包括文件、块、对象。早在十多年前,存储行业就在探索三合一的方式,原因如下:
数据猛增,用户的运维复杂度越来越大;三合一使用简单、方便;
存储相关的硬件发展迅猛,一定程度上弥补了软件的不足;
存储越来越智能化,逐渐可以在内部根据业务动态实现存储资源的调度。
浪潮存储独创“多合一”架构 承载5G新数据
浪潮作为存储技术全球领先的厂商,围绕新基建背景下的数据中心存储基础设施建设特点,研究5G时代数据特点和业务发展趋势,推出了具有浪潮特色的分布式存储解决方案,它可以很好地解决传统存储面临的诸多挑战,又可以解决投资决策者面临的抉择难题。该方案以浪潮分布式存储AS13000的“多合一灵活多变”为主要特点,在一个集群里同时支持文件、块、对象三种存储服务。即AS13000底层采用基于对象的分布式存储,向上通过lib库的方式提供相关的访问接口给文件系统、块设备和对象网关,并由上层的组件对外分别提供文件,块和对象等多种存储服务。
浪潮分布式存储的多合一架构
相较于业界普遍的单一分布式存储解决方案,该方案具有以下优势:
首先,分布式块、文件、对象灵活配置。基于底层的存储资源池共享,可根据用户需求,对存储资源进行灵活配置,在同一集群内,提供给块、文件、对象使用。
其次,分布式块、文件、对象灵活调整。随着业务发展,当所需的存储类型发生了巨大变化,诸如用于结构化数据存储的分布式块业务数据量下降,而用于表单的文件业务数据量快速增长,这种情况下,可以将原来用于块的资源进行释放,配置为文件资源,从而避免资源的浪费和重复投资。
再次,分布式块、文件、对象统一界面。分布式块、文件、对象同一集群,统一管理界面,资源共享,可以较好的降低了管理复杂度和维护成本。如下图所示,浪潮存储AS13000实现了真正的三合一,融合文件NFS和CIFS、块iSCSI、对象RGW于一身:
浪潮存储管理界面
基于以上优势,通过该“多合一”方案的应用,在数据中心建设中,可以为极大提高投资者的资本使用效率,极大提升基础设施的利用率,降低决策者面对未来业务发展不确定的决策压力。
比如,基于分布式存储的横向可扩展的特点,企业无需在初期就花费巨资应对未来可能遇到的较高的容量、带宽、性能需求,未来可以在需求发生时再进行扩容,达到精简投资,当前够用的最佳资本使用状态。
又如,浪潮存储单产品支持全数据类型,并支持灵活配置和调整,当决策者对未来业务发展不确定时,或者未来业务可能会发生较大转变时,该方案可以完全的解决这一问题。
浪潮分布式存储AS13000“多合一灵活多变”解决方案,能有效帮助企业解决在新数据时代下存储横向扩展和性能线性提升的迫切需求,同时又以领先架构、多种硬件节点选择、多设备智能预测与管理等,解决决策者在动态变化的业务发展中的决策难题,满足降本增效,灵活适应的业务需求,使决策者轻松决策。
总之,浪潮分布式存储的极简架构:多合一,很好的满足了新基建海量存储的需求。IDC预测,中国SDS市场2020年全年预计增长33.6%,未来5年复合增长率超14%。浪潮存储将持续以“云存智用 运筹新数据”赋能智算中心,在分布式存储领域加速创新,释放数据要素价值驱动行业数字化转型。