IBM破记录 43分钟狂扫100亿份文件

IBM和Violin宣布了一项使用通用并行文件系统(GPFS)扫描文件的世界记录:它用4个Violin的闪存阵列在43分钟内扫描了100亿份文件。

这次的记录是之前一次的37倍,上一次是在3个小时内扫描了10亿份文件。但那次是使用文件系统元数据来存储的,就像是在磁盘驱动器上的文件数据一样。

为什么要做扫描文件这种事情呢?IBM报道说,需要用GPFS去扫描文件系统才能够将它们在存储层中移动或是归档等等。但这并不是一个研究成果,因此不得不在幕后进行。当元数据存储在硬盘上的时候,运行的速度就变得越来越慢,这是因为在GPFS系统中的文件越来越多。甚至可以想象得到,最后都没有足够的时间去处理这些数据。

因此IBM的研究机构才试着去将元数据放入高速闪存阵列中,并观察系统是否运转变快。结果非常的给力,但这并不令人惊奇,毕竟它是一个在幕后研究的小项目,因为系统并未用它处理真正的数据。

在2月的时候,IBM在SONAS SPECsfs 2008的标准检测中取得了每秒403,326次运算的结果,该测试使用的系统是一个单一的GPFS系统,系统使用了1975块硬盘。

EMC使用flash-heavy VNX系统取得了每秒497,623次运算的结果,此系统使用了436块200GB的SAS固态硬盘,另外此系统还包括8个文件系统。

SONAS是一个由El Reg 评定的基于GPFS的系统,重新运行IBM的SONAS SPECsfs2008看上去是可行的。但这次是使用几个Violin Memory Arrays来处理SONAS数据,所以达到了每秒500000次的运算结果。我们询问了IBM和Violin两家公司关于这次的测试,但并不期待他们做出诸如是的,我们在做这个呢等类似的回复。

我们非常惊讶能够收到IBM存储系统主管Bruce Hillsberg的回复:你们说对了,如果我们在SONAS系统上使用最新的技术重新运行SPECsfs的测试,将会有巨大的性能提升。