欧洲存储大会:解析新存储技术的混战

这篇文章是我们对欧洲存储网络大会连载报道的第二篇,主要介绍云,为您带来一道色香味俱全的存储大餐。有些东西很受关注,而有些东西则默默无闻,想要深入了解,还请细细品味。

BridgeSTOR和DDFS

BridgeSTOR的CEO John Matze为我们介绍了许多关于其DDFS-Data重复数据删除文件系统的信息,这个系统可用于磁带和云。有一家公司的声明使我们想起了磁带在数据保护领域的中心地位:

2010年12月,ESG有个简短的标题:“NERSC—磁带存储原始数据的成功”。世界上大概有一半的数据存储在磁带上。的确,世界上10家大银行全部依赖磁带进行数据备份,归档和恢复。世界上的10家大型电信公司也是相似的情况,另外还有8家大型的制药公司也依靠磁带。

在BridgeSTOR之前,Matze为重复数据删除产品硬件厂商Exar公司设计了第一代去重产品。但是:“Exar在2012年2月停止了这个产品的研发,解散了相关的团队。员工总数减少了40%。”

如此说来,DDFS是Matze的第二个去重产品。

Matze认为其DDFS技术在备份虚拟机方面效果显著。他说VMware虚拟机和VMDKS去重效果并不好,因为它们并不适合于磁盘存储块。DDFS能实现一个512K的虚拟机数据标题,并转化为4096比特。存储虚拟机数据的2M数据容器也可以被转换为4096比特的块。

BridgeSTOR技术在被称为CRUNCH的Windows VHD格式中,可以被当作虚拟重复数据删除工具。它可以运行在已存在的备份服务器上,还可以在存储虚拟机映像和对所有虚拟机映像(比如VMware,Hyper-V等等)进行去重的服务器上运行。虚拟机被“压碎”到重复数据删除容器中,大小跟LTO磁带差不多,然后写入磁带中,同时被磁带驱动器进行压缩和加密。

从本质上来讲,一个CRUNCH写入的磁带包括两个文件或存储容器——一个用于数据,另外一个用于元数据。这个磁带上有所有的去重元数据。

借助虚拟机,BridgeSTOR可以实现20.6:1的数据压缩,把33GB的原始数据压缩到16GB。当然,根据实际情况而有所不同。

在DDFS“块级别”的重复数据删除过程中,使用散列算法(SHA-1),数据块被标记,从而使每个数据块都有一个独特的,速记的标识符。DDFS允许散列表存储驻留。存储散列表需要的内存容量依赖于使用的实际承载量和重复数据删除块的大小。

DDFS像Windows的一个驱动程序。输入的数据被分解成大小一致的块,然后进行处理。元数据被写入到一个文件中,而物理数据则被放入存储容器中。Matze说:“我设计它,就像我为Overland存储(他是这家公司的CTO)设计REO软件一样。现在我的团队正在对其进行完善。” BridgeSTOR是私人拥有的,没有风险投资基金。

BridgeSTOR宣称:“在恢复数据的时候,DDFS可以保证数据从没有数量限制的”复原点“复原。”初始数据同步“完成之后,DDFS会基于你的数据去重的操作频率建立并保持一个恢复”图“。

“比如说,每天运行DDFS(例如在一个CRUNCH设备上),就会产生多个可用的数据复原点。就像乘坐时光机器,你可以回到过去某个数据是正确的,稳定的复原点进行数据恢复。“

Matze在一个安装了LTO-5磁带驱动的苹果笔记本上展示了DDFS和LTFS,表明苹果笔记本用户可以在LTFS中增加DDFS。元数据被移动到用于缓存的本地硬盘中。你可以仔细查看磁带内容而不需要借助驱动。Matze打开DDFS服务,加载DDFS,当一个文件被扫描的时候,它直接从磁带驱动中读取。

DDFS可以把重复数据删除文档写入到磁带中,也可以把它们传送到远程站点,包括“云“。Matze正在和一些NAS厂商讨论DDFS的潜在价值。很显然,一些厂商,像Synology和QNAP会对这个产品有很大的兴趣。很多用户都购买它们的设备用于备份:“DDFS天生就是用于NAS的好产品,对于NAS来说,CRUNCH产品就是一个插件。”

CommVault的Simpana也是一款可以进行重复数据删除,并把数据写入到磁带中的产品,但是,根据Matze的说法—CommVault有点贵。

在未来,CRUNCH可以把去重的数据送到云中,对亚马逊这样的公司来说,借助一个云的插件,可以不用磁带。Matze说:“人们不会再需要铁山公司。他们可以通过云供应商长期存储磁带图像。”

Matze还需要确保CRUNCH可以和微软的DPM搭配使用,而后者会把CRUNCH作为一个磁带驱动。用户可以通过CRUNCH网络共享即时查看数据。

CRUNCH基于服务器的型号价格为每月200美元,Matze说:“这个价格跟几个LTO磁带的价格差不多。”

系统管理员也用存储

在存储领域,不需要你有多么前沿的技术产品。有时候你只需要推出其它厂商没有的产品就够了。比如说可以横跨各个厂商,端到端的系统管理工具。

SolarWinds软件提供网络,系统,虚拟化和存储资源管理功能,但是消费人群是最终用户而不是CIO们。这留给我们的印象是一般的IT系统管理员可以使用这个软件去独立解决问题,而不需要把自己变成光纤通道专家或虚拟化专家。

这个套件可实现网络管理——性能监控,流量分析,配置管理,用户设备追踪等功能,还可以实现存储,日志事件,服务器和设备,虚拟化,补丁,移动的管理及web帮助台功能。这些功能中的大部分在购买后就能使用,可以共同工作。

SolarWinds告诉我们,共享的CPU,内存,网络和存储资源互相竞争,从系统的水平很难发现存储问题。厂商自己的工具实现的可见性效果不好。如果你不知道到底是物理服务器还是ESXi主机或虚拟机占用了大量的存储带宽,你可以使用SolarWinds的工具,深入到物理存储中,然后再顺藤摸瓜到物理和虚拟服务器中,去看看带宽的问题出在哪里。

SolarWinds通过一个先试用再购买的网页下载计划销售了大量的低端产品,目前已有超过100万人下载了其免费的工具。


虚拟仪器

虚拟仪器(VI)与SolarWinds恰好相反。SolarWinds是宽而浅,而虚拟仪器则是窄而深。它推出前沿的技术产品,紧紧围绕光纤通道(FC)存储架构,提供深度检测能力,来寻找架构中的问题。

虚拟仪器(VI)的CTO Skip Bacon在法兰克福上做了简短的发言,我们了解到VI的年度收益翻了一番,在欧洲的市场的年度收益几乎翻了两番。

他说VI不仅和IBM有FC SAN产品的合作关系,许多中小型企业也依赖其FC SAN产品来提供应用。“对于VI的客户来说,SAN性能和可靠性是关键。”

Bacon表示,SAN到终端用户连接的性能不仅仅体现在FC部分。在存储方面,VI也很重视系统的I/O,但不仅仅是IOPS。它们在低粒度的条件下测试FC数据通信,使用的是2.5毫微米时钟,而不是以小时来计算——那样就太慢了。Bacon说:“你不得不以很高的频率,很低的延迟来测试其真实的性能。但是我们也会考虑交换机和其它设备对测试的影响。”

如果客户有大量需求,在2013年,VI也许会支持AIX和Hyper-V。

VI几乎和所有的厂商在FC SAN方面有合作,除了一个,博科。如果博科的CEO Michael Klayko离开的话,两家公司的关系或许会有所改善。Bacon说,在博科内部,抵制VI的想法很盛行。

把后端分类

我们和Sepaton的欧洲,中东和非洲副总裁Tim Butchart做了简短的交谈,他告诉我们一些关于Sepaton最新的S2100-E3重复数据删除阵列产品的情况,这款产品最多可有8个计算机头与后端的HDS HUS存储相连。与其之前的高端产品相比,ES3增加了25%的容量。

Butchart表示,Sepaton的业务正在高速发展,现有的去重系统不能随着备份数据数量的增加而扩展。惠普需要这样的系统,因为惠普自家的StoreOnce去重备份到磁盘的产品不能像Sepaton的系统那样扩展,表现不是很好。StoreOnce不能取代Sepaton。

Sepaton设备可以进行数据库分流来满足数据库的极端特性,这可以减少数据库备份窗口。这个功能可由数据库管理员打开。Butchart还告诉我们,EMC去重阵列产品最佳实践指南宣称这样的数据库分流应该被关掉。

他提到了产品的路线图,如下:

· 支持NFS,CIFS和NDMP接口

· 将会实现混合去重环境,特色为后处理重复数据删除。这能实现最快的数据处理速度。

· 可以从使用ES3的数据中心上传去重数据到使用ES3的云中。

· 易管理性大幅度提升。

虚拟现实

我们了解到HDS的发展情况,这个高端的虚拟存储平台(VSP)可从七个专用集成电路(ASIC)中获得硬件方面的支持。最新的HUS虚拟机有一个单一的ASIC,结合VSP的其它七个ASIC,可以实现低端VSP阵列50%的性能。

HUS虚拟机可以聚合在一起使用。VSP的高性能控制器可以用来连接两个HUS虚拟机。如果在节点之间实现全IO分配的话,可以支持4个HUS虚拟机。VSP本身也是可以聚合或与其它产品整合在一起的。

最终,HUS虚拟机意味着常用技术被应用在高端的VSP阵列和中端的HUS虚拟机上。我们希望能有单一的技术崛起,把文档,块和对象存储连接起来。

英特尔和Nevex

英特尔收购了闪存缓存软件厂商Nevex,后者在IBM收购TMS之前一直和TMS保持关系。Nevex的标志也传达出“一家英特尔公司公司”的信息,证明收购所言非虚。8月份,451研究小组报道了这次收购,人们才了解到它。

我们向Nevex询问这件事,还没有得到回复。为什么英特尔收购一家闪存缓存软件产品厂商呢?除非它也销售闪存缓存硬件产品。我们认为英特尔将在这个领域进行侵略性扩张了。

你知道大数据需要什么么?磁带

我们简短地采访了两位归档联盟的人。一位是Crossroads的业务发展执行副总裁David Cerf,另一位是他的兄弟Vint Cert,他们说:“如果不使用磁带,大数据的增长将受到抑制。”

美国富士胶片记录媒体的总裁Peter Faulhaber说:“不是磁带,也不是硬盘,归档必须两者都包括。有时固态硬盘是一个最好的基础设施,这也是归档联盟提供的。”

这里我们讨论的主题很广泛,包括Solarwinds如何有效解决系统管理的问题,虚拟仪器公司如何深入研究光纤通道技术和存储管理——这两家公司致力于同一个问题,但是采用了不同的方式。

我们还研究了两个重复数据删除的例子:BridgeSTOR,尝试走自己的路。还有Sepaton,目标打败HP,领导高端企业级重复数据删除市场。

我们还介绍了日立的VSP-HUS虚拟机,还有英特尔默默地得到了软件闪存缓存技术。那还有值得拭目以待的东西是什么?2013年继续在法兰克福举办的欧洲存储网络大会将会告诉你。