IBM研发总容量120PB水冷阵列

IBM位于加利福尼亚州Almaden的研究实验室正在进行一个新的项目:设计一个120PB容量的大型存储设备,我们今天的任何一个数据资料库与之相比都要相形见绌。这一新的存储设备将由20万块硬盘驱动器组成,预计可容纳约1万亿的文件或240亿首单曲容量5MB的MP3文件。要知道,截止到2010年2月24日,苹果只是售出了100亿首歌曲,因此,你不仅可以将iTunes音乐商店出售的每首歌曲都存储两个拷贝,而且还会有剩余空间来干点别的!

更具体地说,Almaden实验室的工程师设计了新的硬件和软件技术,来将20万块硬盘放进水平推拉的抽屉,然后放置到机架进行安装。为了能够给硬盘降温,IBM将抽屉设计的比我们平常见到的更宽以尽可能多的放进硬盘,并将配满硬盘的抽屉塞进一个液态循环水冷的垂直机架中。在软件方面,IBM精心设计了他们的磁盘奇偶校验和镜像算法,比如说,当某块硬盘发生故障时,整台计算机仍然可以以接近全速的效果进行工作。如果单块硬盘发生故障,系统会从其它硬盘读取备份数据并写入到替换后的硬盘中,这就使得这台超级计算机依然能够处理数据。算法会控制数据重建的速度,并能够处理多块硬盘同时损坏的情况。

除了物理层面的数据分布,IBM还使用了一个新的文件系统来保护阵列中的所有文件。通过我们已经熟知的通用并行文件系统(GPFS),这一系统会将文件条带化到多个磁盘上,以达到并发读取,增大I/O的目的。此外,文件系统使用了一个新的索引方法,使其能够保持跟踪数十亿份文件,而无需扫描每个内容。比特网此前报道过,GPFS曾经创造过43分钟扫描百亿文件的纪录。(《IBM演示新固态存储系统:43分钟扫描百亿文件》)

IBM存储研究总监Bruce Hillsberg表示,他们的算法使存储系统中的数据能够做到“万年不朽”,同时还不会对性能造成影像。Hillsberg进一步认为,尽管这个120 PB的存储阵列上如今看起来有些“疯狂”,不过对于云计算来说,存储的作用正在愈发显得重要。他透露说,只是跟踪文件的名称,类型和属性就使用了约2 TB的存储。

这一阵列目前正在搭建一个即将对外发布的客户端,其有可能用于高性能计算(HPC)项目,来存储大量的建模和仿真数据。包括全球气候模型,地震图形,大型强子对撞机(LHC)以及分子数据和模拟等项目将会从逐步增长的存储空间中受益。

尽管受到设备发热、数据错误、排列密度以及存储介质等方面的限制,不过对于数据存储的研究仍然正在以惊人的速度向前发展。尽管这台由20万块硬盘组成的120PB容量的阵列除了国家财政或财富500强企业以外没有人能买得起,不过这一技术本身绝对是有趣的,同时其在技术方面的成就也会眷顾到消费级产品中。