重复数据删除白热化 软硬结合成关键

伴随近期在美国举行的EMC World 2012和惠普Discover大会,两家公司分别发布/更新了各自的高端重复数据删除产品——Data Domain 990和StoreOnce B6200,很快EMC和惠普之间展开了口水战。

简单总结一下EMC的观点就是:惠普StoreOnce B6200统一管理8个节点/4对联作为一套带有单一命名空间的单个系统,但却是四个单独的重复数据删除索引。也就是说现在还没有跨越一套B6200集群的全局重复数据删除。

紧接着SEPATON发布6.1版本的DeltaStor软件,增加了一个DBeXstream组件,用于当数据库备份通过多个端口并行操作时的重复数据删除——SEPATON称之为多流(multi-streaming)。他们与EMC又对DBeXstream与DD Boost之间的优劣发表了各自的观点。

SEPATON的产品管理和营销的副总裁Linda Mentzer表示:“EMC Data Domain Boost与Oracle RMAN整合试图解决只针对Oracle数据库的快速备份的挑战,但他们的选项需要在数据库服务器上安装第三方软件,带来了复杂性和性能问题。DeltaStor DBeXstream重复数据删除多流和复用的企业数据库备份针对任何非常大的数据库,包括Oracle、SQL和DB2。”

EMC产品营销经理Caitlin Gordon回应说:“为了实现针对RMAN的DD Boost,客户只需安装DD Boost的Oracle RMAN插件。DD Boost减少了在Oracle服务器上的整体影响,因为服务器发送更少的数据,并且发送数据是比执行部分的重复数据删除过程更加处理器密集型的。

注意:这里有一个观点,就是人们(也包括笔者自己)通常认为像EMC DD Boost这样在备份服务器上的重复数据删除预处理软件会占用CPU等处理资源;而减少了通过网络发送的备份数据量,反过来又可以节省资源。

接着发生了一件让我们感到有些意外却又在意料之中的事。作为惠普在VTL(虚拟磁带库)方面长期OEM合作伙伴的SEPATON也对B6200进行诟病,无疑反映出这个市场的竞争已经开始达到“白热化”的程度。

SEPATON的产品与项目管理副总裁Linda Mentzer和产品管理总监Peter Quirk表示:“对B6200的工作负载的设置是非常复杂的,因为用户必须平衡多个节点的工作负载以确保良好的吞吐率和对存储的有效利用。SEPATON可以自动在所有节点和系统存储上对备份进行负载均衡。”

惠普存储事业部的产品营销总监Sean Kenney则表示:“我们的StoreOnce B6200系统性能是可靠的。我们的合作伙伴没有参与到惠普的StoreOnce B6200性能测试,因此我们不知道他们是根据什么做出了这样的判断。”

显然,惠普说出这话的时候表现出一种无奈。“没有永远的朋友,也没有永远的敌人,只有永远的利益”——这句话虽然不适用于所有场合,但在商业竞争中却再贴切不过了。今年初B6200刚推出的时候,笔者就询问过惠普有关在VLS产品线上与SEPATON的合作是否会受到影响这样的问题。如今随着StoreOnce Catalyst的发布和B6200进一步增强,两家公司之间的合作将逐渐转变为竞争状态。

那么在本文中,笔者力求还原重复数据删除设备领域这次“三角论战”的来龙去脉,在厂商公布的产品技术资料、各公司发言人观点的基础上,加入自己的理解和评论。

当然我对于相关技术的认识,一定没有上述三家公司的专家们丰富,也没有他们对竞争对手产品有那么深入的了解。不过笔者可以站在相对中立的角度上来看问题。

StoreOnce Catalyst正面PK. DD Boost

重复数据删除竞争白热化:软硬结合成关键

更新之后的惠普StoreOnce B6200备份系统规格(部分)

惠普StoreOnce B6200是此次争论的焦点之一。笔者曾经对该产品做过比较详细的介绍。如今它在新加入的StoreOnce Catalyst(催化剂)软件配合下满配8个节点的最大重复数据删除备份速度可达100TB/小时,不使用StoreOnce Catalyst的情况下也由之前的28TB/小时提升到40TB/小时。

需要注意的是,B6200的数据恢复速度为40TB/小时,此时StoreOnce Catalyst是帮不上忙的。同时这款产品还加入了对Symantec OST(Open Storage Technology)的支持。

StoreOnce Catalyst技术的工作原理和EMC DD Boost比较类似,如下图:

惠普在新闻稿中表示:“HP StoreOnce Catalyst软件让客户能够在数据传输至中央HP StoreOnce备份系统之前,在应用服务器或备份服务器上删除重复数据。这种方式提高了灵活性,能够帮助客户降低带宽成本并提高备份吞吐量。客户可利用HP Data Protector 7软件、Symantec NetBackup或Symantec Backup Exec来管理其HP StoreOnce Catalyst环境中的重复数据删除以及数据移动。独立软件供应商(ISV)可通过HP StoreOnce Catalyst开放软件开发工具包,从而实现同样的控制水平。”

上图显示了当前可以支持StoreOnce Catalyst API的两种备份软件——惠普本次发布的自家最新版本Data Protector 7和赛门铁克NetBackup(据了解Backup Exec即将加入支持)。在左边的备份服务器上,HP DP7的介质代理中包含了Catalyst API,可以选择在这里进行部分的去重;而右边则是在NetBackup介质服务器的OST API基础上,加入了一个Catalyst插件,同样可以进行预处理去重。Catalyst指令和数据在备份服务器和B6200系统之间传输。

我们可以想象,StoreOnce Catalyst很可能是受到了EMC DD Boost的启发,因为DD Boost一开始只支持赛门铁克的备份软件,可以说相当于OST的一个增强;后来才移植到被EMC收购来的(Legato)Netwoker,以及Avamar源端重复数据删除解决方案上。惠普在同一时间准备好了Catalyst针对赛门铁克的插件和Data Protector 7,基本上就是沿着前者的路线走。

重复数据删除竞争白热化:软硬结合成关键

EMC DD Boost支持的软硬件、操作系统和网络连接列表

经过EMC World 2012上的发布,我们看到DD Boost又新加入了Quest vRanger虚拟机备份软件、Oracle RMAN和Greenplum数据库的支持。尽管EMC没有像惠普那样宣布开放DD Boost的API,但他们也力求兼容更多的软件。不过笔者认为,另外两家主要的备份软件——IBM TSM(Tivoli Storage Manager)和CommVault Simpana可能不会轻易与EMC合作,虽然Data Domain的市场占有率遥遥领先,但别忘了EMC自己还有Netwoker和Avamar正是二者的竞争对手。而且IBM还要推他们的 ProtecTIER虚拟磁带库产品(如今也支持赛门铁克OST了);CommVault则像很多备份软件那样有自己的源端/介质服务器上的重复数据删除 选项。

重复数据删除竞争白热化:软硬结合成关键

上文中已经提到过关于DD Boost和RMAN的集成,其价值就是在不使用第三方备份软件的情况下,直接通过RMAN对Oracle数据库进行备份也能享受到DD Boost预处理重复数据删除的好处。

而惠普存储事业部的产品营销总监Sean Kenney则回应道:“RMAN本身不是一个备份应用程序,我们觉得在备份软件之外备份Oracle没有多少价值,这样不能利用备份应用程序的目录和存储管理优势。”

可以说每家公司的说法站在自己角度上都有一定的道理,总之竞争带来了技术的丰富和进步,用户会根据自己的情况来选择。接下来我们看看几款产品的横向对比:

五款重复数据删除系统大比拼

重复数据删除竞争白热化:软硬结合成关键

上表来自我们从惠普网站上下载的StoreOnce B6200实验室验证报告,因此其中部分规格仅供参考

首先,我们看到了包括HP B6200、SEPATON(S2100-ES2)、EMC DD990、FaconStor(飞康VTL)和IBM TS7650G VTL网关在内的五款产品。它们都支持虚拟磁带库功能;SEPATON不支持NFS和CIFS标准文件协议但听说有这个计划,飞康另有一款FDS文件级重复数据删除产品,IBM 7650G则在最近加入了对CIFS的支持(暂时还没有NFS)。在去重卸载方面,惠普和EMC分别凭借StoreOnce Catalyst和DD Boost处于领先,赛门铁克OST的支持已经成为了标准功能。

接下来的最大可用容量(这里是物理容量,而不是可保存重复数据删除之前的原始数据量),最大支持8个节点的SEPATON以1.6PB处于领先,而同样8节点(4对高可用)的惠普B6200却落在了最后。这里列出EMC DD990支持的570TB,在添加Extended Retention软件选项之后,可以提高到1.3PB(570TB至1.3PB之间为归档层)。

在节点数量方面,笔者觉得应该和性能、高可用性(HA)一同分析。EMC DD990由于是单节点的系统而不支持Active/Active Failover(故障切换),至于SEPATON、飞康和TS7650G的“FC only”,可能指的是它们通过光纤通道连接后端的存储阵列,比如SEPATON搭配了HDS(日立数据系统)的AMS2100,飞康和IBM本身就是软件或者网关的形式,自然就不限型号了。而B6200则是封闭的系统,前端的2U服务器节点与后端阵列之间通过SAS来连接。

重复数据删除竞争白热化:软硬结合成关键

惠普StoreOnce B6200备份逻辑设计示意图(双节点HA对)

根据上图,每个VTL/NAS仿真的B6200节点3.5TB/小时的读/写速度是初始发布时的数值,本次更新后应该提升到了5TB/小时,使用StoreOnce Catalyst当然就更快了。每个节点的64TB可用物理存储,则是通过6Gb/s SAS连接后端的P2000磁盘阵列控制器来实现的,两个B6200节点同时也连接到属于另一个节点的P2000阵列,另外节点间应该还有双10GbE(万兆以太网)通信用于故障侦测和元数据同步。当一个节点出现问题时,HP Autonomic Restart(自动重启)功能通过将备份重定向至另一节点,无需手动干预即可防止备份失败。另外,StoreOnce B6200的P2000存储也是通过双控制器各自2条SAS链路分别连接到前端服务器。

可以看出,每一款高可用的重复数据删除系统,都是采用盘/控分离的设计,也就是前端处理去重的服务器节点,连接外部控制器的后端存储系统,如此才能实现HA。而EMC Data Domain在硬件上则相当一台高配置的存储服务器,这就是它目前仍不支持高可用的原因。由于DD990的出现,在性能和容量上全面被超越从而在产品线中消失的GDA(Global Deduplication Array,全局重复数据删除阵列),其双节点设计也是以牺牲可用性为代价的。

当笔者问及EMC怎样看待用户对重复数据删除产品节点级别高可用的需求时,EMC大中华区副总裁、备份与恢复系统部总经理陈满恒先生表示:“这个我们会向公司总部反映,并且已经遇到用户有这方面的要求。”

再来看性能。在单节点的比较中,EMC DD990以31TB/小时遥遥领先;而到了系统最大性能,惠普B6200和SEPATON S2100-ES2都有8倍的提升。值得注意的是,上表列出的数字没有达到惠普宣称的100TB/小时(对应单节点12.5TB/小时)。还有就是 SEPATON的重复数据删除为后处理(post-processing),而惠普、EMC DD和IBM ProtecTIER都是线内(in-line)去重,因此SEPATON最近一次备份的恢复速度与数据初始备份(而不是延后的重复数据删除处理过程)的 速度同为43.2TB/s。惠普的整个系统,应该看成是由4对节点各自单独的重复数据删除索引,四个单独的命名空间组合而成的单一命名空间;而 SEPATON则是跨ES2集群的全局重复数据删除池。

重复数据删除竞争白热化:软硬结合成关键

我们在此补充一点,IBM TS7650G ProtecTIER重复数据删除网关最近更新后的性能,提高到了9TB/小时,比上表中的双节点7.2TB/小时有所提升。虽然TS7650G的型号名称长期不变,但其硬件是在不断升级的,如今使用了四颗10核心的Intel Xeon(至强)E7-4860(总共40核)。而其持续恢复性能比备份性能还要高(3200MB/s vs. 2500MB/s),达到了11.4TB/小时。

Data Domain扩展选项:备份归档一体化?

重复数据删除竞争白热化:软硬结合成关键

Data Domain产品线规格,之前笔者曾经列出过这个表格的英文版本

关于DD990的性能提升,EMC资深技术顾问靳扬在回答笔者提出的问题时表示:“简单说就是我们的性能提升是依靠Data Domain的算法,这个叫SISR的算法是收购过来的,我们还在发展,加上结合CPU的处理能力,通过这两方面来进行提升。我们的提升不是依靠磁盘的性能,而是依靠快速发展的多核CPU的性能。”

我们还不确定DD990的硬件平台采用的是Xeon E5还是E7,但根据之前的判断,应该是这两者之一。

从上表中我们还看到,DD990的逻辑容量分为2档——5.7-28.5PB(对应570TB可用物理容量,分别计算10-50倍的去重比)和13-65PB(对应1.3PB可用物理容量)。这两个可用物理容量点我们在前文中曾经提到过,涉及一个Extended Retention软件选项。

重复数据删除竞争白热化:软硬结合成关键

注意上图中的“活动层”和“保留层”,它们在物理上是相对独立的

ChinaByte比特网:我觉得65PB这个逻辑容量比较大,这两个不同的层之间,(重复数据删除)索引是不是分开做的?

靳扬:不是,是统一的单一命名空间,你可以理解归档层的关键是你可以把它搬走,需要在线就在线,不需要在线就不在线,是一层一层归档的。备份这个层面是570TB,也就是活动层的最大容量是570TB,之外到1.3个PB之间是归档层。

重复数据删除竞争白热化:软硬结合成关键

以上摘自Data Domain扩展盘架规格表

可以看出DD990默认情况下(只有备份层)支持最多30个ES30扩展盘架,而添加Extended Retention软件选项之后增加到56个。通过ES30上面的SAS扩展器,表明它就是一个JBOD级连扩展的方式,那么DD990的存储服务器硬件上应该可以支持不只一块SAS RAID卡。如果不出意外的话,备份层和归档层所包含的扩展盘架估计是连接在不同的RAID卡上面,这样才适合根据需要来离线。

同理,数据从备份层到归档层需要一个在物理硬盘RAID间移动的过程。

如上图,在数据中心和远程灾难恢复站点的Data Domain系统之间,由于Retention Tier(保留层,也就是归档层)中都是不活动的“冷数据”,因此当有一个保留单元(扩展盘架)故障时,用户不再需要沿着广域网的复制路径反向恢复,而是只要将DR站点中对应的单个保留单元运输到生产数据中心就可以了。根据我们的理解,这就是Data Domain离线归档的好处之一。