自从去年Oracle收购Sun之后,Lustre文件系统的命运就出现了不确定性。事实上,这种不确定性还得回溯到收购之前很久。为结束猜测,Oracle借近日召开的2010超级计算大会重申了对Lustre的承诺。
Oracle存储高级产品经理Jason Schaffer表示,"Oracle不会让Lustre有本质上的改变,我们对Lustre和社区以及高性能计算(HPC)市场将给予坚定的承诺。"
当然,Lustre是一个高性能开源文件系统,通常在高性能计算环境中使用。它基于Linux,由Oracle设计、开发和维护,许多开源社区的个人和公司也参与其中。它的基本设计是通过大规模并行来实现I/O性能,提供远远超出传统文件系统限制的规模。据Schaffer表示,Lustre可扩展到数十PB、每秒数百Gb和数千客户端,可靠部署到许多群集环境中。
Schaffer称,"Lustre是世界上最好的并行文件系统,我们将继续投资它的研发。"
他强调Oracle并没改变Sun的策略,而是大大推动它。那是什么策略?对于Oracle来说,就是领导Lustre开源社区,并继续在这方面投资以支持对HPC的大量使用。
他指出了这样的事实,在刚刚发布全世界最快的超级计算机TOP500名单上,前100名系统中有61个都利用了Lustre。
Schaffer称,中国最好的高性能计算系统也采用了Lustre。
他还谈论了位于中国天津的国家超级计算机中心开发的天河1号A系统。天河1号A以其2.57 petaflops的性能摘得的Linpack测试性能TOP500榜首。它具有29376GB的内存,采用了NVIDIA图形处理器(GPU)和英特尔至强5600系列处理器。它采用一种定制互连,据说能够处理大约2倍的InfiniBand高速数据。这项功能削减了集群内延迟,并是天河1号A位居榜首的关键因素之一。
Schaffer表示:"大多数被Lustre所吸引的客户都是对规模与/或性能感兴趣的,Lustre的竞争力要么在于规模出众,要么在于性能出众。"
他说,虽然科学和学术界用户是最突出的,但也有大量的商业客户,尤其在石油和天然气、媒体和娱乐领域。
分析师见解
以上是来自甲骨文官方观点,下面看看分析师有何见解。
StorageIO 的分析师Greg Schulz 表示,"Lustre之所以在高性能计算领域内成功,是因为它是针对那些需要读写大型数据集、或者文件要求并行访问文件的环境或者场景,相比之下,大多数通用的横向扩展NAS解决方案都是针对小型文件的并发访问。同样地,大多数通用或者横向扩展型NAS包括很多集群文件系统解决方案,具有例如快照和复制等特性来管理小型文件,在这方面,Lustre具有一定的优势,能够安全保存和提供来自对象存储目标和对象存储服务器的并行高吞吐读写操作。"
是因为这样的环境或场景需要读取或写入非常大的数据集,或文件要求并行存取通用文件,以及针对小文件进行并发访问的向外扩展NAS解决方案。同样的,大部分包括许多集群的通用或向外扩展NAS文件系统解决方案都具有很多功能,比如用于管理小文件的快照、复制。Lustre在对象存储服务器(OST)总有一个主要的租户,能够安全地存储和提供高吞吐量实现多个对象存储目标的并行读取和写入。"
因此,Schulz称,很少有用户会尝试让Lustre做不符合设计初衷的事情(例如围绕Lustre的常见应用)。Schulz表示,Lustre在支持研发、勘探、仿真或者其他要求并行处理大型数据集工作负载的很多商用环境中找到了自己的一席之地。另一方面,在面对来自戴尔、EMC、IBM、BlueArc、NetApp和OracleZFS的通用NAS解决方案时,Lustre通常并不是最合适的。换句话说,虽然这些都是文件服务系统,但是Lustre和其他类似方法(例如Panasas PanFS)更多地应用于特定的垂直应用环境中,而更多通用系统则在其他领域发挥他们的作用。
Schulz表示,"这就是对于手头的工作要利用正确的工具和技术来处理。"
他认为Lustre前景光明,但它还将会停留在高性能计算这一重点领域,除非有人可以创新地将其定位于更多通用的应用程序–甚至是需要这种进程的仍在发展中的云。