2014年7月31日,由DOIT传媒和存储在线举办的首届中国闪存峰会在亮马河饭店盛大召开,在下午举办的闪存技术论坛上高端存储知识自媒体西瓜哥做了《Flash for All不等于All Flash。》的主题演讲,作为自媒体,西瓜哥对闪存有着自己的理解。
西瓜哥认为现当前磁盘技术快速发展50年,现在基本停滞,没有什么新的技术。而现阶段闪存发展又很快,MLC的SSD的价格逐渐接近SAS SSD。估计2018年左右,可能闪存的成本,跟1.5万转的硬盘差不了多少。借着这个高速硬盘,很多厂商说过几年以后闪存的成本跟硬盘成本一样,不要听错了,不是跟硬盘成本一样,是跟高速硬盘成本一样。
西瓜哥认为内存是最快,寿命也非常好,但是内存有一个问题就是不能作为一个永久的介质。第二可以看到SLC,闪存刚出来的时候基本上都在这里,SLC他写寿命比较长,现在我们发现闪存像储存用以后,直接用MLC。通过算法的优化,也能满足大部分的需求。闪存重点看两个指标,一个读,闪存很快。但是写的话,闪存的优势并不特别明显,单独编程写的蛮快。闪存有一个垃圾回收的问题,他要删除,每个闪存写的时候,以前东西要删除。这个东西处理不好,会影响整个系统的性能。还有寿命。就算用SLC的话也是上万次,最高十万次。
西瓜哥认为闪存在互联网方面应用多一些,而在金融领域应用比较保守,担心什么问题?首先现在架构基本能够满足他的需求,多加一个硬盘差不多能满足。第二个成本,没有必要买那么贵的东西,基本要求可以满足。第三就是可靠性,普通的客户考虑闪存的最主要的一个考虑。但是我们应该从整个TCO和购买成本来看这个问题。用户关心的成本只是说购买成本,闪存阵列不贵,这是成本。但是我们要看整体的成本。比如说你用闪存阵列的话,你就可以节省下来数据库两个License。
西瓜哥又谈了一些厂商解决系统可靠性的一些方法。用户担心是一个介质可靠性,闪存的话要看系统可靠性。介质可靠性不够高,看系统可靠性,有很多方法去解决,“现在厂商使用方法列了一下,一个是超供,100G闪存硬盘,可能128G,超供180G给你,里面只有100G容量,他说我一定要超供,超这么多,给你补上去,这个寿命没有问题,这是一方面。第二是磨损均衡,两个级别,一个是SSD级,一个系统级。如果说你均衡来写,整个闪存寿命就上去了,需要算法去完善这个东西。针对整个系统就更好了,所有闪存硬盘均衡的写,我跟赖总聊了一下,他用了三四年闪存了,没有坏过一块硬盘,所以可靠性还是比较好。还有就是技术的反磨损均衡,什么意思?我看厂商里面主要是华为提出这个技术。带闪存在寿命后期,假如说5年寿命,4年的时候,我采用反磨损均衡。你这个全是磨损均衡的话,寿命一致的话,到五年以后硬盘可能全部都坏,同时换两张盘代价高了,数据丢了。后期这个数据是一致,你的风险很大。想用硬盘,又不想花钱,还要换新的硬盘,我用反磨损均衡。我这时候只写一块硬盘,把这个写坏,再写别的,逐步替换,充分利用闪存硬盘,这是一种方式。还有容错,在知道闪存硬盘跟普通硬盘最大的区别,企业级闪存硬盘是多核CPU,有强大的软件功能,垃圾收集等等。这些容错的技术,你颗粒坏了,他内部可以做修复,可以容错。还有前面讲的很多的数据压缩和重删和数据减少的技术。把这个写大量的减少的话,就会造成你的硬盘的可靠性的提高,相对用的时间更长。算法的优化,4K的颗粒跟我的颗粒对应起来,内存里面全部算好了,减少写放大。还有寿命可预测,你用闪存更放心就是闪存寿命可以预测。闪存颗粒是5000次寿命,我写了多少次是可以知道。有的公司没有做这个功能,但是用户可以要求他做,我要知道我的硬盘寿命到什么时候了,我硬盘是3000次寿命,我写了2000次了,可以知道。”西瓜哥讲到。
Flash for All,闪存无处不在,通过这些闪存常见的领域,内存计算、实时分析、OLTP、VDI、虚拟化是闪存应用最多的场合。很多场合也都用到,比如说Facebook要建立一个冷闪存,用户希望厂商能提供只能写3次的闪存,因为很多用户传上来的照片不会删了。还有一个是归档存储。以后归档的数据最节省的还是元数据的闪存,很快找到用户需要的东西。把所有的查询和管理都放到闪存里,很好的归档。所以说闪存可以无处不在。
回归到主题Flash for All=All Flash?西瓜哥个人有点保留意见,因为现阶段来说闪存阵列占的比例还是很小。但是未来发展潜力巨大。“2013年SSA收入6667M。企业级的SSD收入是40多亿。这是真正的主流,全球占的比例不是非常多。这个市场最热的地方是美国,北美的地方SSD美洲占了57%。最新的数据,全闪存阵列SSD占了5%,按流量来说占的比例更少,可能2%,3%。这个市场占全球来说闪存阵列占全球磁盘阵列市场是小众,增长很快,还是非常小众市场,没有成为主流。如果是磁盘阵列的市场,美国占了41%,全闪存阵列市场美国占了57%,这两个数字可以对比出美国这个市场他对全闪存阵列的需求是最旺盛。中国的比例还可以,相对整个市场不是特别强。”西瓜哥讲到。
西瓜哥有个观点认为不建议全闪存阵列,比较倾向的观点是混合阵列。“为什么说不建议全闪存阵列,首先容易形成系统孤岛,把数据放到上去,你备份之后,过一两年之后,我计费了,这个月花费可能需要很多的I/O,但是交完费之后,两个月之后这个数据就变了。这个数据放到全闪存阵列成本就浪费了。你需要做迁移,一个基金公司会估计一个迁移成本,数据的话假设你买一个阵列,把旧的阵列换掉,数据迁移,会算一个成本。会购买阵列成本的54%,他算的比较多,迁移成本,还有提前购买阵列,迁移完了之后还有运行一段时间他把这个成本算进来。不管怎么算,有一个概念就是迁移成本,现在的迁移技术不是特别的成熟。”
混合阵列有几个关键特性,首先我认为是在线重删和压缩你必须要有。小于1毫秒时延,在全闪存情况下。假设我需要小于1毫秒时延你必须要达到。第三就是加密,为什么强调加密?大家知道闪存是要操作的,有操作就有一个问题,这个闪存盘以为删除了,但是你拿走了以后你会发现其实没删除,你超供的部分有一个数据,全部可以恢复临时的数据。你给100G闪存硬盘,里面有28G超供,那个地方你没有加密功能,你可能保留不了你的数据安全,这是金融行业特别关注。还有就是闪存是必须的,元数据在内存和闪存中。针对闪存LUN的流程优化。自动迁移,生命周期管理,和HDD深度融合。如果硬盘做了,系统级就不用做了。现在很多厂商都做闪存硬盘。
混合阵列我们客户其实更关心的是如何保证性能,怎么区别传统阵列+SSD,形态都是一样,怎么知道你好,你说的技术会那么复杂,我也搞不清楚。这是他最大的问题。大家很多讲阵列,讲I/OPS,有人说100万,有人说60万,这个数据比较意义不大。I/OPS不知道你读多少,写多少,不知道你是6K还是8K,模式不一样,所以值不一样。第三方测试跟测试程序一样,这个I/OPS前十名列出来了,前面是闪存阵列,混合阵列,性能方面混合阵列差距不是非常大。差距比较大,关键用户需要不需要这么多容量。如果你又需要容量和又需要性能的时候,我这边他是一个选择。如果你需要性能不需要容量,纯闪存阵列是你的选择。
西瓜哥举例美国一家混合阵列的初创公司的理念架构,混合阵列必须要有闪存,因为元数据在里面。混合阵列简单到一个硬盘,元数据处理加速必须在闪存阵列完成。中间那一层,没有必要。现在高速硬盘成本跟闪存成本很接近。美国的这个调查公司在美国闪存峰会发布的品牌调查结果,混合阵列里面认可度各大厂商最好,用户很难认可,没有几个客户是技术大拿。如果你讲一个混合阵列,跟传统厂商有什么区别,不是什么可以讲得清楚。这种形态的话对他没有利,所以说我发现很多原来只有混合阵列的公司,现在慢慢推出包装出来他们的纯闪存阵列。
最后西瓜哥对于闪存应用的憧憬,“以后买一闪存阵列,用户不要限制我配什么盘,我刚开始配全闪存硬盘,过了两年我发现老的数据越来越多,还是一个阵列,不想再买一个阵列,加一个磁盘框,你通过自动迁移方式,自动判断方式,你系统自己会判断。像买个汽车一样,3D模式,雪地模式,无极变速,自己变速就可以。你没有必要让我的用户去考虑这么多,据统计一般的企业不超过20%,你配20%的闪存硬盘很奢侈了。第二个是一键启动,我配所有的介质在里面,用户只需要告诉我,我这个要多少容量,同时我要什么,要多长时间的时延。用户说我这个需要100T容量,需要时延是毫米级。我混合阵列怎么判断,我直接去算。如果我说时延要求到2、3毫秒,我可以给你配,20%的闪存就够了。这是我的一个想法,能不能实现不知道了。”西瓜哥讲到。