6月30日,由DOIT、易会联合主办,主题为“关键之年,让闪存绽放”的2016中国闪存峰会在北京隆重举行,来自企业、产业、及学术界的专家、用户约500人出席了本次大会。
当前,随着国家大数据、物联网战略的实施,对数据存储系统的容量、存取速度、可靠性要求不断提升,应运而生的闪存技术由于综合性能的优异在存储领域异军突起,不断重塑和冲击传统存储产品的观念。可以说,存储市场进入了变革的关键之年。
“关键之年 让闪存绽放”,在闪存技术及产品颠覆存储市场的同时,闪存技术本身将如何演变与发展,与闪存竞争的其他存储芯片技术将如何发展,存储系统将会怎样发展?2016中国闪存峰会围绕以上问题进行了深入的研讨。
在当天下午举行的“云生态下的闪存加速创新”分论坛上,存储领域知名研究者西瓜哥发表了主题演讲,他从第三方市场机构、用户、厂商以及自身的研究角度,对全闪阵列的历史、现状与发展进行了阐述。西瓜哥表示,未来闪存的价格继续下降,企业生产数据都会放在传感器上。但是真正的归档和备份,能不能以后也要利用,主要就是看它的发展。预计到2020年前后,所有生产业务会迈进全闪存时代。
以下为演讲实录。
我叫西瓜哥,他们叫我CHO。今天下午技术的东西不多,主要就是忽悠的。今天这堂就是听我研究的结果,我给大家提供数据。我今天的内容分几方面,AFA定义、演进、市场、技术、未来。
全闪存的定义,业界没有标准的定义,有一个定义是演进。2014年Gartner出了固态阵列的固态象限,为什么不用全闪存的阵列定义呢?它认为现在闪存目前是主流的形态,但是以后可能会有相变存储,可能会有新的固态介质,觉得阵列名字有点窄,为了以后发展用了SSA的定义,就是固态阵列的定义。它和IDC认为这样的阵列不能接磁盘,必须得全部配合闪存,作为独立的产品进行销售。原来很多的厂商有混合阵列,可以配闪存,但是都不算在里面的。
IDC的定义,IDC叫AFA。现在的固态阵列说白了基本都是闪存,几年前个别用RAID,以后能怎么讲不好说,但是IDC定义有变化。IDC要求阵列产品只能配闪存的,但是它还有一个要求,从血缘上讲有三种类型。第一种类型就是这个阵列天生是为闪存设计的,第二种类型这些阵列是核阵列改造的,但是会有一定的优化。惠普对全闪存的阵列,它的控制器和内存和CPU更强大一些。第三个类型是全闪存配置,这是IDC新加的类型。我们可以看到IDC分类里面,去年闪存的存储有服务器,把这样的全闪存的配置没有放在AFA理念,它跟全闪存的阵列相比差距没有那么大。刚开始重删,压缩等等性能差了很大,后来发现这个差距在缩小,甚至有的没有太大的差距。在新的定义里面,今年5月份重新修改,把全闪存的配置放在AFA里面去。因为把flash算在里面,所以说份额增长的很快。
我把全闪存阵列做了研究,国内华为做的比较早,所以我把它放在里面。08年以后在企业级的市场闪存用的很少,企业市场用的都是内存加电磁保护来做的。真正闪存到企业的高端市场,比较典型的标志就是2008年高端存储引入。
但是闪存发展,纯闪存阵列的元年我认为是2012年。当时他们推出了纯闪存的产品,他们只是打一些性能市场,很多的产品是可靠性是一般的,主要问题性能。国内2012年华为赛门铁克推出了Dorado,这算国内做的比较早。但是华为后来落后,因为后来闪存的市场中国没有起来。华为目前国内市场还是大的,但是后来的研发重心还是切到了国内。
2012年可以看到新的闪存时代,原来讲究性能闪存很贵的,但是讲究经济的话我们看到很多的厂商有特点,它们都是支持很强的数据疏解功能,一般的时候会重删,一下子闪存的有效成本降低到5美金以下,所以一下子会把闪存热潮推向市场,因为有成本的效益。
我们看到2013年Maminaric打破世界纪录,打破了高端存储垄断的要求,标志了纯闪存阵列得到了认可。2013年行业纷纷觉醒,传统巨头纷纷推出自己的阵列产品。IBM收购tms。2014年有一个新的标志事件,Gartner发布报告固态阵列的象限报告。2015年,我们看到很多的混合阵列厂商把握不住,2014年的时候我也讲过了,我也是混合阵列的鼓吹者,我认为混合阵列就够了。但是现在我发现由于分析师的定义,分析师不认为混合阵列就可以。这些国际厂商纷纷推出纯闪阵列的形态,改变了他们原来的想法。他们想进入市场。未来怎么样不好说,HDS推出HFS,国内的厂商落后很多。
黄色的三个阶段,这是我认为比较重要的三个阶段。1.0时代、2.0时代、3.0时代,原来是性能,后来是通用的目的,大家的看法基本上都是差不多的。全闪存的定义,在Gartner像一个爬坡体,需要2-5年的时间会转到大规模的应用。它把固态阵列作为革命性的技术,一共有三个技术,重删和固态阵列等。IDC有四个关键的技术,闪存是一个。
Gartner最新的报告里面,魔力象限我们可以看到左边的这是Gartner的研究,会根据市场的产品影响力和元件有四个象限,EMC、IBM、惠普,国内的话只有华为。右边的IDC的研究,分法也是类似,分领导者和主要玩家。我们这里面看到的厂商更少一些,主要是国外的厂商,国内的厂商不是很多,每一个圆球代表了市场的份额,而且每一个厂商打着这么一款代表性的产品出来,反映了市场的厂商革命。Gartner还有一个报告固态阵列对产品的报告,国内的厂商是最低的。报告里可以看到,全闪存阵列的主要业务场景,在线的处理和数据库的场景,服务一体化,高性能计算,还有分析,VDI等等,这是全闪阵列最主要的场景。把全闪存阵列分了性能、存储效率、可靠性等等分成了不同的特性,每一个特性有不同的权重需要总分加起来和前方产品排名。闪存阵列性能很重要占90%,可靠性和管理性,这也是超过了两位数的,这是报告的内容。我们把红色标出来,这是厂商认为得分最高的地方,大家可以看一下单项冠军。
Brand调查公司,这跟市场份额没有关系。比如说你认为这个市场的领导者是谁?你认为价格的领导者是谁?惠普是性能的领导者,IBM是可靠性的领导者,服务的领导者也是EMC。这是用户的想法而已,从用户的角度看问题。
DCIG报告是业界的争议比较大,就是根据闪存阵列的参数,你写几个端口,根据参数评分,它认为是完全客观的,没有任何的问题。每一个权重不一样,打的分也是不一样的。我们看到得分跟大家想象的可能不太一样,比如说惠普得分还是很高的,但是没有问题。EMC是市场上卖的最贵的,这是根据规格功能直接打分打出来的。
我们可以看到全闪存阵列的占比,在全球从2013年有一点,2014年和2015年占比越来越大,增长率特别高,但是目前没有超过20%,大概是16%左右。我们看到中国的全闪存阵列占比比国外少很多,我们中国的全闪存阵列市场没有起来,占比上我们就可以看出来。存储市场中国大中华区占9%,我们的体量落后整个存储。但是从EMC全球数据来看,它跟高端存储的比例已经差不多是4:6的比重,体量上讲已经完全可以跟高端抗衡。
这是我统计的Q1全球TOP3的情况,EMC、NetApp、HPE是前三。大家看增速,增速比较快的还是前面的三家,我们看到IBM增速慢一些,虽然在增长但是就是慢了一些。我们可以看到协议的对比,目前用的最多就是手机上和linux。平均的容量售价,十万美金一套。IDC有报告,全闪存阵列成为主流应用,一个厂商一个产品就可以进入全球TOP10,这是标志性的事件。这是IDC的数据,这是修订前和修订后的对比,预计会保持比较快的增长。
中国2015年火起来,中国全闪存阵列火起来靠中国的股票市场影响,股民交易量上涨,迫于压力,很多的公司买了全闪存阵列很多,主要就是这个。但是在中国我们看到了均价是十万美金,卖的比较贵。
全闪存阵列和普通的阵列区别就是介质不同,我们看到了新的全闪存阵列厂商基于RAID 2.0技术,闪存先切块而不是说用RAID传统的方式。很多的厂商推出了多维的方式,比较明显的就是闪存的盘里用了一层,闪存硬盘之间又做了一层,这是相对于两维的东西。EMC做的更好,可以解决很多问题。硬盘越来越大,现在有15PB的,为了怕出事很多的进行校验。现在很多的厂商在研究闪存阵列通过全局的GFTL解决性能的问题。作为阵列来讲,如果说每一个SSD都自己搞效率很低,如果说全世界搞的话可能会效率提高很多,所以现在很多的厂商在这方面有研究。
闪存跟硬盘是一样的,都喜欢写的快,大一些,顺序写,这样的效率是最好的。并不是说闪存随机性能很好,但是数据写的更快一些。这个条带修改的时候,只修改某一个块怎么办,我永远不要修改原来的数据,主要修改的东西都会重新的写,我只是把要改的数据块标为不用就可以。这样的话每一次写就会很方便,节省时间。垃圾回收问题,每一个硬盘自己做垃圾回收的话,其实有的时候性能会有抖动,如果说控制的话利用智能算法会避免这些抖动。如果同时垃圾回收就会满了,如果每次做三个,我自己调动好的话只做三个盘子的垃圾回收,这样的话系统性能就会错开,就不会大家一块做,把垃圾回收的控制触发功能放在系统这儿。
冷热数据分离,大家知道我们的源数据是很热的,我们现在的闪存最主要的就是源数据。有的时候跟真实的数据和冷数据分开,不要写在一个块里,但是这样的话垃圾回收的时候会减少工作量。传统的阵列就是在垃圾回收会做特殊的优化,其它的功能我认为和阵列差别不是很大,有一些差别,但是没有根本的差别。
原来2014年的梦想是混合阵列一统天下,没有必要做闪存阵列。我觉得闪存阵列优化的好,但是不配硬盘就是一个闪存的阵列,这是当时的梦想。但是现在我的观点有一些变化,男女搭配干活不累。现在闪存的成本,裸容量的成本很高,所以说没有必要搞的那么复杂。IDC报告里面我们可以看到,它现在也认可混合阵列性能跟闪存阵列是一样的。
未来闪存的价格继续下降,企业生产数据都会放在传感器上。但是真正的归档和备份,能不能以后也要利用,主要就是看它的发展。因为压缩的备份,它对重删的压缩不需要实时的,所以说你这个闪存阵列重复压缩我也是可以支持的。容量上有优势会更加接近,再加上功耗的空间,以后数据中心就很方便。2020年左右,所有生产业务会迈进全闪存时代,备份和归档的差距一时半会闪存颗粒还是降不下来。