瑞驰是一家面向云计算和大数据提供创新型解决方案的国家高新企业。2019年获得B轮融资的瑞驰发展迅速,在面对海量的数据时代,深耕存储行业的瑞驰,开启了新的概念——按访问量耗能,如何理解这个概念?在应用中能解决哪些实际问题?
深圳市瑞驰信息技术有限公司副总裁郭昊在2019中国数据与存储峰会(DATA & STORAGE SUMMIT)以《按访问量耗能开启海量数据新时代》为题,分享瑞驰在数据存储领域的创新理念、技术架构与产品能力。
![](https://pic.doit.com.cn/2019/12/2019121709271321-1024x682.jpg)
郭昊:大数据的发展是非常迅速的,从2013年一直到2018年整个数据的发展,每年都是以至少30%甚至90%的速度飞速增长,2018年已经达到了33ZB的生长水平,预计在2020年和2025年,全球大数据存储量将达44ZB和175ZB。在这样一个概念下,数据中心会面临多种多样的问题。目前在整个数据的结构上来说,其实我们现在对于整体数据的存储85%以上是不经常访问的,但必须要保存重要信息,在这个上面不管是政府还是企业对这部分数据耗费大量的资源去进行管理也是很多存储产品所面临的一个难题。
降低存储功耗是关键,两大创新平台提供支撑
整个数据中心的能耗当中,服务器存储和交换占了整体能耗大约50%左右,空调制冷这一块占了37%,整个服务器功耗和控电制冷的功耗呈一个正比的关系,最终将整个服务器存储的功耗进行下降,整体数据中心的资源的消耗得到大幅度的衰减。据目前的IDC的调查,目前65%以上的数据中心都会存在供电制冷的问题。数据中心平均4年的电费超过了数据中心整体基础建设的投资。瑞驰针对于这一块进行了深入调查,也提出了自己的想法,怎么样降低整体数据存储的资源消耗。
整体的存储功耗我们分解,整个存储功耗一个硬件平台的功耗,另外一个硬盘的功耗,通过这两方面降低整体存储功耗,我们提出了两个方面的想法。第一个在硬件平台功耗这方面我们提出创新型硬件平台,通过开发创新型硬件平台,提高硬件密度,降低硬件平台的功耗。第二个通过软件层面我们需要一套很智能化管理系统,通过我们与自身开发的创新型硬件平台做一个结合,智能化管理数据,做到按访问量耗能,具体在数据中需要访问多大数据量怎么读写按照最终的访问量,整体的数据存储来看,冷数据占了85%,整个能够做到访问量耗能,可以做到将整个存储功耗降低80%以上。
创新型硬件平台提出一个概念,目前采用ARM芯片做存储,在服务器CPU市场上,Intel占据超90%的市场份额。在移动芯片市场上,ARM架构的芯片几乎占据了所有市场份额。ARM芯片的特点——体积小、低功耗、低成本。我们发现这个特点的时候,与我们在存储行业的想法是不谋而合的,在云存储的设施上,第一在数据中心存储其实占了数据中心一大部分,市场空间巨大的,所以在功耗和成本以及性能的要求上其实ARM都是可以满足现阶段的想法。技术层面因为ARM的架构意味着所有的芯片板卡包括软件要重新定制,我们在存储这个单一应用进行切入,发挥本身的硬件平台的价值,瑞驰与Marvell、Ampere合作研发了两套创新型硬件架构,满足我们对于海量数据存储的期望。
为何提出“按访问量耗能”这个概念?
除了硬件方面,在智能存储系统方面,瑞驰开发出了一套命名Blue Data的管理系统,这个管理系统主要通过三个方面强调管理特色。第一,在数据的高效读写上,通过两个创新型平台——NxStor和NxCells的结合,分离数据,保障数据的高效读写,同时提高存储密度,降低存储功耗。现阶段市场中很多人提出冷存储的概念,往往会出现一个通病,数据是否能实时高效读写,我们通过这样的结合方式,通过高效的ARM平台,将数据进行分离,将本身数据所需要检索的原数据模块放在高效的存储介质当中,通过整体智能管理系统,做到实时读取我们所需要的数据。第二,数据存储的策略,对外统一的存储命名空间,将两层不同的硬件平台进行一个整合,根据业务客户的场景进行数据的分离,也是我们高效读取策略的基础。第三,提供海量存储系统的概念,就是按访问量耗能,我们怎么去做按访问量耗能,整个也是因为我们创新的软硬件架构的结合,才可以做到我们对单块硬盘或者两块硬盘进行细颗度管理,能够实时找到抓取到数据的存放点。通过一些硬件的休眠功能和软件读取功能,可以实时快速找到这块数据,能够做到访问这块数据,并不需要唤醒更多的硬盘,功耗上能够按访问量的特点。
两款硬件平台,第一,NxCell低功耗存储采用Marvell方案,该存储采用12颗Marvell的2核低端芯片,通过架构设计,实现密度与传统存储服务器比高1倍,功耗还要比同密度X86更低,下一步存储主控将升级至A72,提供更快的性能,更好的读取速度。第二是基于ARM高性能平台NxStor,目前采用Ampere高性能32核CPU,整机架构与传统服务器架构一样,适用于高并发、高性能的存储场景,与NxCells硬件平台互补,下一步主控CPU将升级至64核,性能更优,两个硬件平台同时包含了需要的高并发、高性能、高密度、低功耗。
海量冷数据管理帮手:BlueData
Blue Data产品架构,整体上模拟化了机柜,以NxStor高性能存储节点及NxCells高密度低功耗存储节点为基础硬件平台,通过Blue Data智能存储管理系统统一管理,面向运营商、金融、安防、物联网等行业,存在海量数据需求的用户,提供高效率、低成本、智能化的海量数据存储解决方案。
Blue Data的特点:智能管理、超低功耗、快速调阅和高密度。智能管理方面,由NxStor高性能硬件平台作为前端数据入口,为前端业务系统提供统一存储空间,进行数据分离,打散到高密度低功耗硬件平台,打散的过程中就可满足客户业务前端的需求。这个过程当中我们体现的第二个特点,超低功耗。整个存储管理系统在纯ARM平台上,存储系统本身硬件的功耗,高密度低功耗传统服务器降一半,高性能ARM服务器降到20%-30%,硬件平台上做了一定衰减之后,同样在硬盘上功耗上通过智能管理平台,按访问量耗能,目前整个测试可以发现,在硬盘的功耗以及硬件平台功耗下降之后,整个方案在整体存储功耗上能够下降80%,就是1PB存储数据量一年可以节省电力费用单存储可节省小一百万,空调制冷同时下降情况下1PB存储的数据量一年时间内可以节省到一百多万,甚至两百万电力的水准。这个其实在整个的数据中心的资源内是非常缺乏的,目前一线城市数据中心越来越少了,我们不停地在二线或者三线城市建立数据中心,对资源的消耗对于整个国内的数据中心的生态来讲其实是非常严重的,我们这一套方案可以解决数据中心大部分存储方面的问题。第三个快速调阅,正常情况下,我们有一个统一管理平台,在管理平台上可以进行设置,硬盘没有出现数据读写,几十秒时间内硬盘会进入到休眠状态,调用这部分数据,打开统一命名空间,已经可以看到空间里面有哪些数据,真实需要调用的时候,需要通过管理系统,通过细模块化CPU的管理,调用这块硬盘,结束休眠状态。这样的作用就是可以快速细模块化管理,快速调阅出来。最后一个,高密度,硬件平台 NxCells ,规格为2U24盘,对比传统存储服务器及存储阵列,正规容量多一倍,硬件平台为2U12节点,可灵活唤醒硬盘。
目前对于Blue Data的产品以及对整个存储行业的发展,我们认为后续需要对整个的存储做到了一个按访问量耗能,这样才可以解决数据可持续发展问题,数据在高速的发展,怎么去解决?可能我们现在也看到三年整个数据量得到翻倍的效果,这个效果下怎么保证可能过了三十年之内数据存储量,现有资源情况下是否能够支撑这么大的能源消耗。我们需要解决这些问题,同样我们需要在整个存储业界,数据中心的范围内建立这样一种标准去提高我们的可持续发展能力。瑞驰作为一个新型的这样一个存储厂商,我们的一些产品也同样会包含在存储领域内的新的概念,新的创新,这种范围内更多企业进行一些沟通,能够更好地快速地提升我们产品在行业内的发展。
(以上内容根据演讲实录整理,如有纰漏,敬请指正。)