12月11日,DOIT在北京朝阳悠唐皇冠假日酒店举行“数据造化 智见未来 ”为主题的2013中国存储峰会。此次峰会得到了中国软件行业协会、中国计算机学会存储技术专业委员会、武汉国家光电实验室和国防科技大学计算机学院的大力支持。此次峰会里,共有10位第三方专家和23位业界领袖/专家出席峰会,并发表了25场极具前瞻性的主题演讲,给大家带来了丰盛的存储盛宴,再次引领中国存储产业发展的深度思考。
下午的“闪存行业分论坛” 中,DOIT邀请关注闪存行业的厂商代表、技术专家、分析师等共同探讨 闪存行业的现状和未来发展。其中,来自戴尔亚太区存储业务部技术总监许良谋,带来《改变闪存经济性》的主题演讲。
戴尔亚太区存储业务部技术总监 许良谋
在演讲里,许良谋表示,闪存能提供高性能解决方案早已不是秘密,它使终端用户能以最快的速度访问所需的数据。然而不幸的是,实施闪存一度对于很多公司太过昂贵。但如今情况已经改观。创新的、颠覆性的戴尔闪存优化型存储解决方案是能跨越多个传统的转轴磁盘、多种类型的优化闪存,对数据进行精细分级从而大幅节省成本 。戴尔解决方案正在重新定义存储的经济效益。
以下是许良谋精彩演讲的内容:
戴尔公司从正式公司私有化已经成功了。有很多人朋友问我,私有化之后是不是有一些改变,是有一些改变,很明显的,把很多要请的人,尤其是未来两三年之后,四五年之后研发的项目,以前是一个上市公司的时候,都是每季度要回报一下,现在我们可以把很多的精力放在研发上面了。我自己看到这是第一个很大的印象的改变,如果之后还有什么其他的改变的话,也会跟大家分享的。
比较普通盘和固态盘,如果固态盘在正确使用方面有这么大的速度的提升,如何让我们老百姓都拥有这么好的技术。因为我们知道闪存基本上是很贵的东西,如何有效颠覆,把它变成这么好的技术,让所有的人都能共享,是我今天的主题。我们也要问一下自己,尤其是今年,2013年我们看,闪存是不是还是选择性的?如果我们在11月11日都拼命买东西的话,大家已经看到了。现在中国的电商,是全球最庞大的交易量,没有闪存是不可能的,不能不用,一定要用闪存的技术,一定要大量的使用,才能顶住这样的交易。
我们的客户都很简单,我们的耐性都是有限的,我们去哪里,一点超过2秒大家已经不耐烦了,我们一定要更快的反应。闪存最终的目标,想要夺取快乐的客户。当我们用的很爽的时候,我们可以继续买更多的东西,用闪存和固态硬盘要赢得客户的欢心,使用方面是非常的快速灵活,反映时间特别的敏捷。
我们可以回顾一下闪存在三四五年当中,尤其是过去12个月当中,价格成本已经下降很多了。三年前我要买的话,那是天价,现在一直下降。如果比起机械盘的话,它还是比较昂贵的。因为有了不同的固态硬盘,闪存,所以我们也看到了不同的解决方案,也有不同的着落点。
反正我的闪存应该最靠近你的应用来做,让你的主机快速反应过来,有的是大数据,一定是共享的存储,我们如何把共享存储,能用固态硬盘加速。如果真的把闪存和固态盘的技术力量全部发挥出来的话,必须有专门发明出来的技术才行。市面上说闪存和固态硬盘的话,不同类型的厂家有不同的方式,有的用PCIE,有的用专门的解决方案。有的把现有的解决方案在共享存储里面如何提升。
这里面有一点是非常重要的。当你把固态盘加进盘柜,希望用更多的固态盘加速的时候,里面有一个环节,你的CPU是不是有这个能力能带动这么多的固态盘?你带一块盘,或者PCI有小型机带动,可能不会耗费你的CPU,但是你用外挂的共享存储来做,就很考验,这个控制器里面,你的CPU是不是足够用。因为大家都不希望花冤枉钱,如果我能给出你,我叫你买,或者你需要12个固态盘的容量才行,但是最后CPU只能带动5个,其他的就有容量的价值,并没有提升任何的速度。
最近我们看到随着CPU更加多核的,CPU不断的发展,现在有很多超强的CPU,可以带动所有的固态盘一起做工作。现在被中国和国外的大量的用户使用。你的IO流量属于连续读写的比较多,还是随机读写的。一个主机跑二三十个运用都是随机应用的。纯读写的方式已经比较少了。这是闪存技术的发展和市场的情况。
像刘先生分析的,好钢要用在好刃上,不是这个东西好就用,我们要看这个东西用了之后能发挥更大的成效。我们发现了几个类型的应用是最受客户欢迎的,一个是索引,现在我有一个公司,我有几万个邮箱,我不怕你开邮箱,但是我怕九点是所有人同时开邮箱的时候,我把所有的索引都拿出来的时候,是很恐怖的。现在我们要做大量的客户的收费的大量的搜集的话,也会用大量的索引诊察这些数据怎么求它的未来。索引是非常受欢迎的地方。
另外一个就是数据库,数据库里面,无论是传统的,OLTP,或者是其他的,我们看到越来越瘦客户的喜欢。固态盘的吞吐量比普通的机械盘高很多。最近这两年有很多中国打国外的企业,我们要和三星、LG比,我们看部署我们的工作量到底有多快。
现在有一个VDI,虚拟桌面非常大的趋势。以前我们说不知道高峰什么是来,但是在VDI里面高峰是非常定性的,早上9点的时候就是高峰,启动风暴,就有大家读什么系统的引子,中午还有一个退出的引子。闪存使用在VDI里面是非常多客户应用的。如果有一个好钢用在好刃上的话,这几方面可以协助我们。
我们看到市场的报告,有一家公司分析,如果我们看全球的固态硬盘闪存使用的话,我们戴尔很荣幸在这次报道里面,被他们研究出来,我们是全球最大的固态盘的提供者,在他们访问的客户里面,我们也看到31%的客户是比较喜欢用戴尔的闪存的技术,或者是固态硬盘,我想和大家说一下。
最终的一切,戴尔是端对端的公司,除了存储我们还有网络桌面等等的东西,我们私有化之后,我们要专注一下,不同的计算,或者是网络,或者是存储,我们加一些新的技术都有各自不同的地方。
存储方面我们有三大目标,第一我们希望把这些数据,如果我们有缘份装你们企业的数据的时候,我们不希望是死水一潭,我们希望它流动起来,该快的就让它快,不该快的就在慢的地方,要让数据动起来。
如果是密集型大型的应用,就挑最常用的放在固态盘。如果我们的开发人员和用户说,你自己找哪个是最热门的索引自己找出来,就累死了。这可能是这个星期的情况,下个星期又改变了,下下个星期又改变了。我们希望流动数据架构应该能做到自动的诊察到底哪些是冷数据、热数据、温数据,让它放在合适的地方。
第二是超高速缓存的连接性。最后存储是一个外挂式后端的东西。你的应用是跑在前端你的主机里面。如果我们让这两个各自为政的话,只是局部化的优化,我们希望这两大技术全面的整合,这样我们才能把1+1大于2的效果做出来。
因为刚才说的,如果真的要把固态盘能够带动起来的话,我们一定要有更高强的CPU。这里很荣幸的给大家介绍一下,我们戴尔存储解决方案里面的其中一款解决方案6210,这是为固态盘使用加速做出来的。CPU比以前快3倍,如果一个盘是24个固态盘的话,每一个固态盘都能带动全速。为了能够增加读写的反应和时间,我们也把内存4倍放大。因为固态盘有机会让我们的吞吐量增高,我们在带宽方面翻倍增长。6210保持良好的传统的优点,包括今年2013年,得到很多不同的奖项,我们也想把6210继续做好。只要你曾经拥有过6210,就算是最新的工人,还可以跑在这个系统里面,我们连续7年存储设备的保障。6年前买的设备,今天出最新的功能,你还可以很成功升级到最新的功能。如果把固态盘发挥更好的话,有更超强的控制器去带动它。
我们希望能带动固态盘经济性,其中一个做法是什么样的呢?如果我们做一个简单的比较,如果还是用传统的机械盘来做我的方案的话,现在我有一个应用,我这个应用假设说,我需要三万个IO,这是一个数据库的应用,我大概是10TB左右的容量的话,我用传统方式来做的话,我可能需要3-4台不同1500转的盘才能满足我的容量和性能的要求。如果现在我们可以用高强的控制器代替固态盘的话,我们就可以满足容量和速度的要求。毕竟是3、4台和1台比较是更省空间,这是经济化的发展。
有一些客户说,全部用固态盘,是不是投资太大了?有的时候从普通的机械盘一下换到全闪存的话,要求可能比较高一点。比如说刘先生说的混合的应用是平滑过渡的好方式。在于6210里面,我们有7个固态盘加17个普通的盘。因为我们能自动自动冷数据和热数据追踪。哪一天数据客户的表放在普通盘上面,但是因为被读写的频率太高了,也会自动的把数据做冷热交接。把冷数据从普通盘挪到固态盘。如果这个过程实现的话,对前端来说就全透明了。
新的6210,有混插,再加上高强CPU带动的话,我们看到一个使用虚拟桌面和以前的版本快了2.4倍。同样一个盘数,同样大小的阵列,以前跑700,800,基本上没有办法带动更多了,但是用更高能力的控制器,现在可以到2000个虚拟桌面再一个阵列里面。
今天的社会,包括我们看到所有的英雄片,都没有单打独斗都是一堆的出来,所以6210的技术从开始到现在都具备横向扩展的条件。有一跳再加上一条再加上一条都可以做横向拓展。我们希望新的6210在横向拓展里面再加一台速度又翻又翻。现在6210可以8台同时并发,如果都是混插的话,容量池提供1.2millon的IO。当我们做8台并发的时候,不仅是IO提升了,而且延迟性一样保持2个延迟性里面非常好的做法。今天我们戴尔作为固态盘的提供厂家,如果有效利用CPU的力量,带动更快速的闪存的话,能做到什么效果?不过这只是一个开始。我们想用端对端的方式做。客户使用存储的时候有不同的方式,有的是用在私有云的情况,有的已经是混合云了,或者是一个大的云的共有云的方式。另外也有顾客说,固态盘好,但是我每次都听到有一些说法,千万不用要固态盘,你不知道这个固态盘有写的次数的限制吗?我怎么知道我的应用一天写多少次。今天脾气好,写7次,明天脾气不好写5次?我不可能掌握我到底怎么判断?我们希望如果可以的话,把闪存,尤其是固态盘的技术可以做到优化。整个市场是全面向大数据的发展,我们希望在大数据里面能做好更多的承载力。
实话实说,当你的数据还没有超过100TB的时候,你可能会说我的数据可以用磁带备份,当你超过100T的时候,一个周末48小时已经完成不了了。到底如何有效更加好的把大数据承载下来,我们希望我们存储研究院应该看到的方向。到最后一切一切的,如果存储能做的就是存储自己本质,那还是一个孤岛,我们希望做到是前后呼应的效果。如果一方面,我能解决你的IO和你的容量问题,但是我又能把你要的性能更加拉近你的性能和主机,就更加做到前后连接的方式。
我也会跟大家分享,主机端推的fluidcache的技术,到最后我们不能忘本,数据不管放在什么地方,到最后我们必须要有超强的能力,承接所有的数据。因为到最后,你要快,你坐飞机很危险,你千万不要坐飞机。坐飞机也很牢靠,更加小心。用固态盘跑快速的时候,我们很放心,这些数据保护的很好,这也是很好的话题。
如果我们细分的话还有更多的类型,但是具体来说是两大类型,一个是slc或者mlc,各自有各自的优点,以读的带宽来说,这两大技术没有太大的差别。但是如果以写的次数和写的带宽来说,slc明显高很多。slc比mlc贵很多,mlc差不多是slc的十分之一。slc既然能做到这么高的速度,这么好的写,这么好的带宽的话,它的容量不能做的泰达,但是mlc的方式,一个2寸半的盘可以去1.6TB的容量。各自有各自的对比,有的时候我们就说,我们到底怎么选?有的时候就看口袋,口袋有钱吃好的,没钱折腾一下,就凑合一下。与其两大技术一直竞争,不如我们找到一个好的方式让它们联合起来,因为各自都有各自好的东西。我们需要写的时候,希望是无限制的无忧的方式去写,但是容量比较小,我们希望找大容量的,因为它的速度和mlc速度是一样的,有没有好技术把这两个敌人变成最好的朋友。
我们戴尔6月份的时候宣布,我们找到一个方式,能把两级的固态盘全部加起来好的方式。我们可以在IO引擎里面100%的控制所有的写一定进去slc,slc的数据进入非活跃期的时候,我们一天做一次,或者一天做三次,有控制情况下,我们知道slc有容量的价值,速度的价值,有写的限制,写的时候我们能控制这个限制,这是一个很大突破。为什么流动数据框架能让它动起来就是好东西。今天我们能向市场提供混插,不过是混插slc和mlc两大存储技术的方案。
这是24个盘,有的客户选6个是能无忧的写,写多少次都不担心,带宽是特别快的slc的方式,然后买大配置,一堆mlc的固态盘,作为我的纵轴,剩下的12个盘,我们可以继续选择是快速的slc还有mlc还是直接放大容量的盘,这些都是可以选择的。所以这种方案出来之后,到底有什么效果?在这里我跟大家分享一下。
你说我的应用如果是普通数据库的应用,那普通的数据库不需要这么高级的技术,基本上已经很快了。如何才能表现这个技术的优越性呢?就是用逆存的方式和HAHA做一个结合。写180亿的记录,每次都是每个不同的场景写那么快,比较起来,比中国所有的竞争对手都高。就算是最高级的,最快的数据库,内存式的数据库,我们也能支撑起来,这是我想和大家分享的。
不同的方案,有不同的解决的方式。到底我的应用是需要怎样的适合的方式呢?有一些客户就说,反正我是一些小型的,但是是很关键的东西,所以我可能一堆slc再加一堆mlc,全部都快,或者是另外的方式,我可能用slc,一些mlc底下我可能用大容量的。比如说我们有5U放84个盘,每个都是4TB,乘起来也是大容量,我们可以承载最底层的冷数据。大容量的承载有个秘诀要和大家分享的。很多企业说,听起来好像是存储分级,快的在最快的,不快的在中间,最慢的就在下面。很多企业,冷数据只不过现在冷,不代表是死数据。它还是会被读的,不知道是什么时候就会被修改的。传统的分层的技术,其中有一个就是说,既然你便宜你就得乖乖付出惩罚。现在你的数据在哪一层,总之你现在最底层,你要开始修改的话要用最底层的速度去还你的债。我们可以这样说,但是这种说是不合理的,不能以成本的控制代表性能的牺牲。我们做IO引擎突破的地方,我们做了一个能做写的保障。无论数据在哪一层,如果已经降到最底层了,可能6年没有人用了,但是忽然间那块业务热起来了。所有被动到被修改的,一定是马上进入第一层,以最快的速度迎接所有的修改,这是很偶然的方式。我们保证快的绝对要快,但是慢的话,就算冷淡之后你修改的话还是能用最快的方式来做迎接。
有一些客户就说,反正我就是要成本,最合理的。一点点的固态盘,但是其他的都是机械盘,也是没有问题的。数据被制造之后马上就冷淡了,属于归档的内容也让它沉降到最合理的地方里。
我们做一下对比,用这种方式,能多写slc,混合mlc的读。如果有一个类似刚才的,比如说要做3万个IO,30T的容量,我用传统的纯粹是机械盘来做的话,我需要一堆25U高这么高的代价付出传统的方案。如果用一个固态盘的方式来做的话,我可能就是6U,而且性能更好。这就是我们所说的经济的颠覆性的方式。可以通过闪存和slc,mlc混合,能把成本降到普通盘的价格一样。
很多客户是不相信的,不可能的,把两个报价拿过来,一个是为了应用报50或者200个盘,这些都是一模一样的性能,这是闪存,而且是用1.6T的slc迎接容量的话,对比能满足,但是这个便宜好像普通盘一样,但是空间节约了很多,更方便部署。
刚才我们所说的闪存的这些技术的突破,让slc或者mlc,或者诊察冷热数据做冷热交接。在这些功能之后,我们没有牺牲任何企业级要的功能,包括我们的数据如何做好该做的和应用同步的数据保护方式。或者是现在在中国我们也看到了越来越多流行两地三中心的方式,可能是北京和北京做一个同城的,我和上海或者深圳做一个灾备中心,这样还能一模一样能保持,没有任何牺牲,能代储所有新一代闪存和固态盘的优势。这是我们看到的一些做法。
最后在大容量方面,因为数据会越来越多,我们推出一个能做横向拓展,去到两个PB级别大容量的方案。我们能够用动力节点,性能不够再加动里节点,我们能把大容量和你要的性能全部做出来。当我们有这么多的CPU在每个动力节点里面,我们还可以多做一些事,除了处理固态盘,我们还可以做数据去重和压缩技术来提高空间使用。既然里面有这么多的动力节点,我们就有多余的资源,不仅带动固态盘,还带动新一代的能接空间的方式。通过数据的去重和压缩,我们可以更加省空间。
横向扩展一个大容量的文件系统,说很容易,但是如果把它做出来不简单。今天我看了全闪存的动力节点,它可以去掉什么样的境界。4个月以前,我们也在做一个测试,从两个动力节点到四个动力节点到八个动力节点我们能做的横向拓展在报告里面很明显。如果我们和其他的做比较,八个动力节点用闪存可以比用56个结点横向并存更快,来的更好,这是用闪存在横向扩展文件系统里面,它也是有非常好的优势能够带出来。
存储到最后,最后再怎么精,存储怎么加快,问题还是没有解决。因为今天我们的应用是跑在主机上的,当这个主机要通过后端的存储区域网络,我写进来,无论是用最快的16G的光纤通道还是什么,我能把第一台写进去存储,也代表我第二台,第三台其他的主机,也需要通过网络进去存储,只要经过网络就有延迟性。所以这里如何能够把方案做到更好呢?就是做到主机和后端存储的结合,我们叫第0层。这是我们下一代的方案,明年年初就会和整个市场宣布了,这是一体化的方案,能把前端和后端的力量全部加起来。
戴尔绝对不是第一家,很多家都已经做了。但是我们觉得有一些东西需要考虑多一点。因为用主机的力量,创建超级第0层,说起来很简单,但是前面的架构和后面的架构是不一样的,后面的存储开始都是双控的,但是前端的主机是不一样的。CPU有四个核,一个核坏掉了,其他的也没办法正常运行了。我们把第0层做起来,回到根本,存储的意义就是保护数据。
如果我们做这样的应用的话,不仅要速度快,还要保证应用数据的高可靠性。我必须确保另外一台数据也有同样的数据,必须是1+1才能说我的数据写完了。我们定时的把主机的数据写到后端大的容量。因为你是一个大数据,前端做的再大和后端也是不同的,我们还是有效的能写下去。如果忽然之间一个固态盘坏了,或者整台坏了,马上也会知道。比如说我的数据B,你写进来的时候,有B和C,但是现在C挂了,我现在自动确保A一定要有复制是我的B,我随时随地有两份数据。前端用一个技术,把应用重启在B里面,重启之后我们重新读回我们要读的C,定时的把数据写进B里面,和所有的厂家做这个方案的时候,很不同的地方。第一是多主机互相照顾对方的,第二我们不是为了性能做的。因为我们后端的存储还是要做数据保护的,当我们后端做快照克隆的时候,要和前端说,这样才能把数据保护好。
在未来我们能通过后端的存储,不仅是通过闪存和固态盘加速,我们也会把我们的应用拉进去我们客户的主机和应用里面,要夺得客户的笑容。如果你之前没有考虑过戴尔,或者还不知道下手的话,戴尔有一个免费的服务,我们通过这个小工具dpack,看一下现在的应用存量吞吐需要多少,我们给你一个英文版的报告,然后我们就知道你需要什么样的存储方案,解决应用的要求。无论是什么样的平台,我们都可以通过dpack,能把真正流量情况做分析。我们不希望拍脑袋做方案的,我们把真实使用场景看的比较清楚,然后做设计真正满足方案的需求。我的报告就这么多,谢谢。