海量存储场景下存储系统的挑战与应对

海量存储场景下传统IT系统面临的挑战

伴随着各种终端技术及网络的发展,人类感知世界,探索世界的步伐越来越快,大量的数据被采集并记录。种种数据表明,人类已进入信息爆炸时代。从IDC研究来看,从2009年到2020年,全球信息总量增长44倍以上,将达到35.2ZB(1ZB=1,000,000PB),而每一家组织都将面临需要存储至少10倍以上数据量的现状。存储系统的容量需求已经从几十T发展到几十P甚至100P以上,我们把这种场景称为海量存储场景。海量存储场景对存储系统提出了巨大挑战。

传统存储架构很难应对海量存储场景所引发的诸多问题。首先,传统IT系统多为“烟囱式”架构,一平台一应用,如果需要扩容,原有的架构和部署方式必然发生巨大变化,并且多系统之间很难实现数据共享,扩容成本极高。其次,多套系统造成管理、维护效率低下。研究表明,IT系统用于维护的费用占到整体费用的72%,远高于首次采购设备的费用。而这一状况在进入海量存储时代后变得更加突出。

需求与现状正在产生巨大矛盾。如何降低整体拥有成本,提高管理维护效率,保证业务连续性是当前存储系统亟待解决的难题。

海量存储系统应运而生

新的产品与服务不断出现以解决上文提到的矛盾,公有云服务是有效手段之一。企业采用“以租代买”的方式,把建设与管理IT设施的风险交给了运营商。云服务运营商提供近乎无限的存储空间供用户使用,“按需购买”的付费方式也降低了用户使用IT设施的门槛,从而解决了扩展性和成本的问题。因此公有云市场最近几年发展迅猛,其中最具代表的就是亚马逊,存储在亚马逊的对象数在2011年增长了192%,达到7千亿个,相当于为整个地球上每个人提供近100个对象存储。

然而公有云并不能解决所有问题。网络存储对带宽消耗巨大,同时出于安全性的考虑,一些企业也不愿把自己苦心经营得到的数据存放到第三方数据中心。因此很多企业选择自建数据中心。他们选择低廉的服务器与存储,基于开源软件进行研究与开发,自建海量廉价资源池。但这种方式对研发及测试实力要求极高,中小企业很难做到。大型企业往往投入大量人力物力也无法做到商用要求,得不偿失。

不论是借助公有云还是自建数据中心,背后对存储的需求是一致的,最突出的就是极高的扩展性及极低的TCO。只有解决了这两个难题,系统才能在海量存储场景下,满足高速发展的业务增长需求。

这种以高扩展和低TCO为核心诉求的存储显然不是现有存储系统所具备的。现有存储不论是SAN还是集群NAS,都很难满足100PB以上的部署要求。因此,一种新的存储类型应运而生,它可以满足海量存储场景下的部署要求,追求极强的扩展性,极低的TCO,以及较好的开放性以应对各种上层应用,而这种新的存储类型对网络时延要求较低。我们把这种新的存储类型称为海量存储系统。

近几年部件技术的快速发展也为海量存储系统的诞生创造了条件。磁盘容量越来越高,从2TB,4TB到8TB,10TB,而磁盘单位容量的功耗越来越低。处理器计算能力越来越强,而每核所消耗的功耗也越来越低。同时万兆以太网技术也在不断成熟。这些都是海量存储系统登上存储历史舞台的必要条件。

华为UDS海量存储系统开创EB级存储未来

海量存储系统以对象作为基本存储形式。对象是数据和自描述信息的集合,是数据在磁盘上存储的基本单元。对象存储在文件系统的基础上进行优化,通过降低文件系统目录、接口的复杂度,提高了当对象数量高速增长时系统的扩展性。同时对象的智能自管理功能也能有效降低系统维护复杂度。

海量存储系统适用于对容量要求极高,而网络时延要求相对较低的应用场景,如公有云存储服务。一方面当客户数量快速增长时对存储空间的需求难以预期,另一方面服务是通过互联网提供的,用户对网络延迟具有较高的容忍度。海量存储系统可以作为基础架构为用户提供空间存储服务,或基于存储的上层业务服务。在行业应用中也能找到适合海量存储系统的应用场景,如数据归档,媒资管理等。

UDS海量存储系统是华为面向海量存储市场推出的最新产品。UDS采用基于ARM架构的低功耗、高密度存储节点,通过对象存储技术、P2P分布式存储引擎技术、集群应用技术等构建海量对象存储基础架构平台,对外提供S3、NFS、CIFS等多种访问接口,以满足不同业务的适配需求。基于UDS可以构建多种解决方案,如海量资源池,网盘,云备份,集中备份等。

如何解决海量数据所带来的困境是信息化社会必须面对的问题。华为携手运营商与行业客户,基于UDS海量存储系统,开拓创新,构建强扩展,易管理,高可靠的EB级数据管理方案,轻松应对各种挑战,开创海量数据业务的未来。