超融合的定义是什么?相信时至今日也是各执己见,众说纷纭,卖一体机的说是超融合,做其他的软件定义存储也说是超融合。在近期闭幕的中国存储峰会下午场,超融合技术论坛中,Maxta的大中华区技术总监王栩东从超融合的定义,超融合的优势,超融合和融合系统及传统存储的区别,当前超融合适合应用方面详细剖析了超融合概念,他表示“我们跟其它做超融合的厂商有一个很大的区别——我们依托硬件,又脱离硬件。”
以下为王栩东演讲实录整理:
超融合是什么?
超融合应该如何定义。每家厂商不一样,什么是超融合?反正这么多厂商,我是卖一体机,我是超融合,我是做其他的软件定义存储我也叫超融合。实际上由业务敏捷性驱动的客户需求已经从单一的计算能力、网络和存储架构往云计算上迁移,往应用现代化迁移,往工作负载管理上面迁移。正是有了这样的需求之后,很多厂商关注这个焦点,关注这个问题,有了这个产品的创新。
其中有一个创新,我们把计算能力和存储服务跑在一个设备,运行在一个设备上,慢慢把它和以前的硬件解耦。以前服务器存储也好、网络也好,是一个紧耦合,慢慢做解耦合的方式。上面跑的是互联网数据中心对我们现有数据中心冲击比较大。你看互联网数据中心,全是标准X86服务器,很少有大型存储包括备份的方式,全部用软件方式来做。各种软件定义方式运行在标准X86服务器上。
广义来讲,超融合把计算、网络和存储集成在一起,运行一整套的软件方案或者设备。一个节点或者多个节点最核心是一个分布式的协议站,每个节点可能都要挂一些分布式软件系统或者是对象存储,作为它的存储。
同时上面会有很重要的一个虚拟架构虚拟站引导硬件设备并将其抽象成更多的CPU、内存和硬盘资源。我想这是一个广义定义,几乎把全部的使用软件集成在一起,把计算能力,存储放在一起,说是一个超融合,其实也对。
超融合最大的区别是在“超”,跟传统存储,跟软件定义,跟融合性区别的时候,从狭义定义,大家要关注它是不是符合客户应用,符合客户的运维习惯,符合客户真正的所要求的性能、安全、运维。
超融合的优势是什么?
我为什么要用超融合?以前客户用传统存储很好用,上虚拟化没问题,跑物理机没问题,不同的操作系统,但是带来很大的麻烦——成本和运维。可能会在传统架构投资非常大的一个设备采购方面,跟各个厂商策略不一样。第二运维比较麻烦,因为基本现在各个系统都是各厂商的产品都有。软硬件放在一起是很复杂的一套管理系统、运维系统,其中还涉及到监控。对超融合来讲的优势,比如客户以前做运维,做主机运维宕机就好了,对不起全部宕掉。在以前物理机的系统,超融合很重要就是跑虚拟化,这个虚拟化你用VMware也好,正常的运维,只要把虚拟机做一个自动迁移,我机器存储的节点,正常维护更换硬盘,更换硬件,更换CPU都没有问题。从运维角度来讲,这是超融合非常大的一个格局。可以做到无宕机的运维,数据不丢。
超融合和融合系统及传统存储的区别
第三个问题就是超融合和融合系统及传统存储的区别。几乎每个厂商都说自己是超融合,就是卖一体机,把计算、网络、存储都放一起了。狭义定义不是这样的,首先传统存储大家都很熟,两个控制器或者多个控制器,不管做分布式也好,硬件是特有硬件,这么多厂商包括EMC,HPE,华为等硬件厂商,硬件是自己特有的架构。自己跑自己的软件,管理系统,每一个厂商都不一样,这个是传统存储。
再说一个融合系统,在8-10年前,有一个流行术语——软件定义网络,然后再是软件定义存储。硬件大型磁盘阵列都跑CPU,后来都跑X86了。既然出来软件定义存储,那把软件直接扒下来放到X86,以前跑的X86,现在X86英特尔CPU越来越快,处理IO绝对没问题。还有一些厂商用开源做一个系统,做成软件定义存储。但它还是一个存储,软件定义存储实际上还是一个存储。
后来因为出现了超融合的概念,超融合从广义来讲就是把计算、存储、网络整合在一起,既然是整合,现在只要处理IO,处理存储需求,跟计算节点放一块,再做一次合并,那就形成一个系统,这就叫超融合。准确来说是融合系统,不叫超融合。
现在来说一下,这个“超”是什么?所有超融合系统一定要运行在虚拟架构上,也就是云的架构上。因为未来客户的应用一定往这上面迁移,不是既能支持虚拟架构,还能支持物理机,那叫融合系统,不叫超融合系统。
第二点所有的超融合系统对应的所有功能全部都是针对虚拟机,不是说今天我做了一个跟传统存储没有任何区别,你说有多大,100G,5T,我划给你。我要一个企业功能,就是跑了500个虚拟机,它还是传统存储架构,超融合针对虚拟机可以做。任何快照、克隆、副本技术也好,都是针对虚拟机,这个才叫真正的超融合架构。剩下我觉得更准确的定义应该叫融合架构。
当前超融合能适合什么样的应用?
再一个说当前超融合能适合什么样的应用?如果说的大一点,超融合适合所有应用,这其实是不可能的。现在没有一个什么系统可以跑所有应用,大型传统存储也不可能。我只能说只要你可以迁移到虚拟化上的应用,超融合系统基本可以跑。
为什么这样说?现在我们可以看到,超融合起步就这两年,远比传统存储时间短很多。其实传统存储也是经过很多年技术积累以后才能满足现在客户的大部分应用。超融合一样也会走这个过场。刚刚开始只是这一两年,超融合的概念被炒起来了。很多厂商说数据库可以跑很高的IO性能,那要看在什么条件下跑了。
现在我说自己是超融合,因为软件定义存储,我直接跑一个X86,放多少个CPU,至少两路物理CPU给你做IO。今天我们放在超融合计算放在里面,开一个虚拟化环境,剩下全部用的控制虚机的方式。
我不能说所有应用都可以适合超融合,目前在我们实施所有给客户中只要能迁移到虚拟化环境的应用都可以。包括有一些像数据库,想迁到哪个系统上。P7的IBM服务器,我先看负载多大,负载只有10%,我可以给你看。如果高峰跑的负载到80%,你的虚拟化环境都撑不过来。还有其他的文件系统、ERP等等。
还有关于小文件的系统,一个500G的容量空间,假设全是EXCEL表,最大50K,最小25K,总共有多少?1000万。你要做一次数据的索引,这时间非常长。要运用比如说像SSD技术。
Maxta公司背景
Maxta是一家位于美国硅谷的公司,跟大家熟知的公司都是友商。我们跟它们有一个很大的区别——也就是我们依托硬件,又脱离硬件。现在几乎所有超融合厂商都是一体机,我们只做软件的部分,做协议站这块。你做所有硬件兼容性的测试,这很难。
对客户有什么好处?我们是一个软件的超融合解决方案。对于客户来讲,都希望试一下超融合,买一些新的服务器。因为每家客户的选择不一样,有的人喜欢惠普,有的人喜欢戴尔,联想,浪潮,曙光,每一家都不一样。对Maxta来说都可以,用到所有产品上都做过测试。买了这个之后直接安装变成超融合系统。
如果客户想要利旧,一体机厂商的旧的机器是没办法的。旧的厂商买戴尔服务器,如果想融到这个系统来,把低功耗低IO应用挪到上面来。但是就机器而言,没有SSD插头,没办法做。所有超融合厂商都得用SSD加速,我们也一样,都要用。
我们相对来说比较融合,希望客户有一个简单的操作就可以把这个超融合无论是纵向还是横向扩展,有很多种选择,不同的服务器平台,可以把你的旧有系统纳入进来,作为一个计算节点,作为一个融合节点。
另外易扩充,超融合大家都一样,无论是纵向还是横向易扩展。另外低成本,对于传统存储来讲,你不用买一个大柜子,我现在负载可以用到80%,可以的话,我可以继续跑。我什么时候需要,横向扩展或者纵向扩展,这是整个产品的设计理念。
未来在数据中心架构几乎全部都是软件定义,互联网数据中心这种架构对传统数据中心冲击非常大。以前我买了一个大的磁盘阵列HDS,我自己建数据中心,可以根据它的尺寸或者承重改机房。如果你搬到IDC,你改不了,我的机房承重就这么多,你要多了就加钱。要不然你拆客户机柜,包括硬件、软件,再整合测试周期比较长。
传统非虚拟架构情况下常常遇到的问题:
软件定义来讲,我们以前有一个客户是做应用开发的,底下专门有运维。向他们要容量,他们搞开发有新的容量需求,开发新的软件。问运维提供5T,10T。
对不起,等着,我们还没买存储。
那边有几个机器空出来的空间回收一下给我用。
对不起,我们都划分好了不能用。
做容灾,两地三中心,切过去IP地址要切换。对虚拟化架构,这也是软件定义网络的。所有书记中心未来软件定义网络,软件定义存储。这是未来数据中心的架构。
这是传统的利用超融合构建新一代的高效数据中心,以前是手动、静态、硬件。新的可以自动、动态、软件定义。好处是用虚拟化架构和软件定义IT架构降低初始资本支出和运营成本,提高IT运营效率。虚拟架构确确实实改变我们以前传统物理机的架构,对我们业务的稳定运行,甚至全年可以做到99%甚至更高的运行效率,不宕机的效率。
数据中心从传统的架构演变到超融合的架构,变成传统拟用光纤存储没有了。而代之用X86体系结构的服务器。后端用数据管理网关,超融合是分布式协议站,后端可以用50万兆、40万兆,提高效率低延迟网络。
Maxta的存储管理平台,所有都要虚拟化。它把所有下面的硬盘统一管理起来,变成一个存储池。对于上面的虚拟机来说,我只看到是存储池,即便后面给了10T、100T,所有虚拟机都可以用。超融合有一个概念就是所有功能设定和性能调优都是针对虚拟机,超融合天生就是这样。硬盘加进来的时候,硬盘自动放大。
前面虚拟机看到存储池自动放大,可以给虚拟机添加容量可以建新的虚拟机。添加节点的时候,有SSD。但如果是利旧的话,SSD插不上,根本不支持。
除此之外大家还需要很多企业级的服务,数据存进去跑500万IOPS没用,真正跑起来,运维人员第一要素,慢没问题,稳定最重要。我们知道一个虚拟机真正跑起来,1000万IOPS。还需要企业级的数据服务,这些包括——第一可靠性和数据的弹性,你要是随时可以扩展、缩减。另外全局数据命名空间还有快照克隆,以前软件音译存储、传统存储都是针对卷,它跟你以前使用存储没有任何区别。快照克隆都是针对虚拟机,可以针对一台,可以针对十台,我使用可以针对策略,有些机器每天晚上做一次,有的三天做一次。所以这是企业级的数据组网。
另外支持多种虚拟化平台,我们现在是两个最主流,一个是VMware,一个是KVM。
这个是数据副本,一个虚拟机数据写到一台服务器的时候,它同时是这三个副本的节点。先写SSD,然后按固定顺序写到硬盘里。超融合数据中心运营效率,对于房间占比,对于电源、网络还有磁盘空间利用率还有维护,超融合数据中心和传统数据中心有极大的降低。
Maxta三大优势,第一已经强调过了,我们不否定硬件,任何硬件我们都可以。包括像戴尔、HPE、思科、联想,适用所有标准X86服务器,做兼容性测试也很麻烦,尤其是软件。第二我们有授权,你升级硬件,迁移软件可以直接迁移到新硬件上,不用再买,延续到新的硬件平台。
第三与大多数其它做超融合不同,我们可以针对虚拟机粒度性能优化。超融合很多时候做的优化配置,所有功能都是针对虚拟机的。我们知道以前做传统存储,老说四方不对齐造成性能下降几十倍,这问题确实存在。我们可以针对虚拟机里面每一个不同的硬盘,虚拟机可以挂很多硬盘,不同的硬盘,不同的应用。假设你有一个跑Server,跑虚拟桌面,跑数据库,虚拟机块大小,针对虚拟机做不同的块大小,优化整个IO。几乎所有厂商都用SSD加速。可以针对虚拟机优化,不用跑SSD上,直接写到硬盘上。
这是产品组建架构,分布式系统,还有对象管理,包括集群管理,还有包括一些我们管理数据库,前面UI这块。
这是针对每一个虚拟机的每一个磁盘会有一个Maxta,专门控制虚拟机做的多副本。假设虚拟机在节点一,Maxta跟着他。虚拟机迁移到节点二,Maxta跟着它做迁移。大家可能会问,刚迁移过去又马上迁移回来,这么频繁,我上面有IO,频繁迁移会影响整个系统的稳定性。我们在设计的时候,如果超过1000IO,我们做Maxta迁移,不超过累计1000IO,Maxta不做迁移。Maxta做迁移中间要做30个相互之间通讯,连接,要对一些数据进行拷贝复制,每做一次后边对CPU消耗都是有的。
另外大家可能关心的一个问题,大家可能说Striping问题,一个虚拟文件怎么分布。所有大家可能都说写本地好,如果写本地好的话,那就买一个磁盘阵列,装一个磁盘写入很好。不是这样的,传统存储磁盘越多写的越快,假设一个系统假设就三个节点。六块硬盘上写,前面有SSD加速,但往六块硬盘上写,还是往两块硬盘上写快?肯定是往六块硬盘上写快。你还有网络连接有延迟,现在后端的万兆以太网,绝对不是瓶颈。瓶颈在你的架构和CPU利用上。所以实际上除了用SSD加速,另外还要把数据打散在所有硬盘上。
如果客户要求往一个节点上写,不往多个节点上写。甚至我们还可以做到这一个虚拟机,有八个节点甚至十个节点,你把1个TP分到十个节点上,我有三个机器性能特别慢怎么办?只固定其中某几台机器上做分布。
这个是另外一个设计,产品的设计考虑到我们知道坏盘问题,我测的性能很好,假设坏盘怎么办?坏一个节点怎么办。根据数据分布,坏盘会只是把数据这块做迁移,迁移到别的硬盘上。做容量添加,加节点或者加磁盘的时候,我们要做一个数据的重建,跟刚才的移动不一样。什么叫重建?当你流量增加的时候,我让所有在上面跑虚拟机磁盘更大量的平均分布在所有节点上,这是要花时间。我们可以支持假设客户今天是两副本,换成三副本可以,根据客户需求。读写IO写到SSD上再去刷盘,SSD现在看到基本上是在64K。
从Maxta体现价值就是让选择最大化,客户有多的选择,硬件选择,软件选择,针对不同应用进行优化。对超融合来讲所有优化全是针对虚拟机,而不是针对下面存储或者软件定义存储。跟你使传统存储没区别,超融合不是这样。只是管虚拟机,VMware直接管虚拟机,别管后面存储怎么分配。一旦创建好,就已经做好了。做配置进行优化,客户有很大的领或性,授权平台转移,客户价值最大化,本地客户进行优化,中文界面,Maxta有日文、韩文,还有英文,你可以这样选。让客户管理起来从运维角度最简单,你只需管理虚拟机就可以。最后一个是节省,成本上节省,标准硬件,容量性能达到最优,提供最佳数据弹性和系统可靠性及数据保护。