选择合适的高性能文件系统

市场上有许多可供选择的高性能文件系统:Sun QFS、IBM GPFS、Quantum StorNext、Red Hat GFS和Panasas,以及其他的高性能文件系统。那么哪一个是最好的?这取决于你所询问的对象以及你自己的需求。

“和我们相竞争的产品一般是NetApp OnTap或OnTap GX, EMC、IBM GPFS、HP Polyserve或Sun所谓的Lustre开放源代码研究项目”,Panasas公司的首席营销官Len Rosenthal说,“虽然我们已经取代了Sun的QFS系统,但是我们从来不在销售上和这些产品竞争”。

Rosenthal声称Quantum StorNext和HP Polyserve只能处理最多16个集群式NFS(网络文件系统)服务器,而且它们一般无法同可扩展的NAS(网络附加存储)产品相竞争。同样地,他说,虽然IBM GPFS、Sun Lustre和Panasas PanFS一样都是并行式文件系统,但是IBM GPFS和Sun Lustre主要使用于大学和政府研究机构,因为它们无法提供足够高的I/O率或足够多的数据管理工具,比如快照。

Panasas的话语确实有些刻薄。那么它的竞争对手是如何回应的呢?

IBM(纳斯达克代码:IBM)的GPFS产品经理Todd Neville说GPFS可以安装在多种类型的系统上,包括HPC(高性能计算机)、零售、媒体以及娱乐、金融服务、生命科学、医疗服务、Web 2.0、通讯、以及生产制造。Neville同时还对Panasas在I/O上的说法感到不以为然。

Quantum(纽约股票交易所代码:QTM)的软件业务总监Greg Nuss的语气则更加坚定,他说Panasas对StorNext功能的看法是完全错误的。

“StorNext集群中的每个节点都可以作为一个NFS服务器,每个节点都能在后端显示普通文件系统的命名空间”,他说,“如今,我们的节点支持量可以达到1000个节点,而且我们还同时支持SAN(存储局域网)连接的节点以及LAN(局域网)连接的节点。我们的客户目前已经部署了总共300到400个节点。我们的产品一般不同Panasas产生直接竞争,因为StorNext所针对的一般是高性能工作流以及归档,客户一般不是把它看作可扩展NAS来进行部署”。

同时,惠普公司(纽约股票交易所代码:HPQ)也对Panasas的声明感到不快。Panasas称在HP Scalable NAS(惠普可扩展NAS)中,一个客户在集群中所能够使用的NAS File Services(NAS文件服务)服务器节点数有结构性限制。

“它们所称的16个服务器节点上限实际上只是一个测试上限”,惠普公司负责HP StorageWorks的营销总监Ian Duncan说,“惠普有许多NAS File Servieces用户使用超过16个服务器节点”。

Duncan说Panasas、Sun QFS、IBM GPFS和Quantum StorNext并不是真正的对称文件系统,而是基于主服务器——无论该主服务器的功能是元数据操作或锁定操作还是两者兼备——的集群式文件系统,作为传统的单节点系统的扩展,这种集群式文件系统相对来说比较容易实施。但是Duncan说,由于主服务器的功能单一,这些文件系统在性能和可用性上往往有限制。

“随着服务器的添加,主服务器的负担也在加重,从而削弱了系统性能,而且如果主服务器发生故障,更多的节点会失去功能”,Duncan说,“与此相反,4400 Scalable NAS File Services(4400可扩展NAS文件服务)使用惠普集群式文件系统(CFS),能够利用多个互相独立的服务器来提供更好的可扩展性和可用性,使集群避免受到任何单个节点的故障所带来的影响,而且在性能上也不会受到限制”。

在听到这些言论之后,让我们来更仔细地看看下面的这些文件系统。

Panasas PanFS

Panasas PanFS并行式文件系统是一个基于对象的文件系统,针对的是需要高性能I/O和带宽的可扩展应用程序。虽然Panasas也支持NFS或CIFS(通用互联网文件系统),但是和这两种系统不同,PanFS使用并行DirectFLOW协议。DirectFLOW是未来的pNFS(并行NFS)标准的基础,而pNFS代表了未来NFS 4.1版本的主要改进之处。Panasas并行存储的主要优点就是强大的应用程序性能。

即使NFS服务器要求所有的I/O请求都通过一个NAS文件管理器头来进行传输,PanFS也可以并行地将来自客户端或服务器节点的数据直接传输到存储系统。在Panasas中,在必要的时候,NAS文件管理器头可以从数据通路上移除,从而不再成为I/O瓶颈。一个例子:Panasas并行存储被安装在世界上最高性能的计算机系统上——美国新墨西哥州莫斯阿拉莫斯国家实验室的Roadrunner系统。Panasas并行存储的单个共享文件系统可以达到100GB/秒的速度。

“由于这种架构,Panasas并行存储系统可以扩展到数千个用户/服务器,数十PB的容量,以及100GB/秒的带宽”,Rosenthal说,“其他的主要特点还包括基于软件的RAID(独立磁盘冗余阵列)架构,这个架构使得RAID的重建要比大多数存储系统快5到10倍”。

PanFS同时还采用了Panasas分层校验码技术,这个技术可以自动检测并纠正不可恢复的介质错误,这种能力在系统重建中是非常重要的。最后,该文件系统还进行了优化,能够适用于多种模拟和建模应用程序。

不过Panasas系统的设计是针对文件存储而不是块存储。因此,它基本上不用于事务导向的应用程序,比如ERP(企业资源管理)、订单录入或CRM(客户关系管理)。它所倾向的应用程序的特点是大量的用户或服务器节点需要对一个通用的大型文件池进行共享的访问。

HP File Services

惠普声称在并行性上加入对称性能够带来很多好处。该产品针对的是中型客户,这些客户的需求是无缝地增加应用程序吞吐量,而该产品所能够增加的吞吐量要比传统的NAS产品高很多;而且这些客户还希望能够在不中断业务服务的条件下在线增加存储容量。HP StorageWorks 4400 Scalable NAS File Services包含4.8TB的存储容量,一个带双阵列控制器的HP StorageWorks 4400 Enterprise Virtual Array(企业虚拟阵列),三个文件服务节点,管理与复制软件,以及对Windows或Linux操作系统的支持。通过三个文件服务节点和双阵列控制器,4400 Scalable NAS File Service可以达到零故障。

缺点?

Duncan说:“4400 Scalable NAS File Services不太适合那些需要6GB/秒以上吞吐量的高性能计算应用程序”

Quantum StorNext

使用Apple系统的用户经常倾向于StorNext平台。此外,在富媒体环境中,Apple、Windows和其他系统经常需要互动,而在这里,StorNext也拥有很大的市场份额。例如,StorNext被普遍用于高要求的视频编辑和回放应用程序,因为它能够应对高分辨率内容所带来的大容量以及高帧率。但是在这个市场以外,StorNext的表现如何呢?

“StorNext和其他共享文件系统的主要差异之处在于StorNext整合了归档层(StorNext/StorageManager),对磁带的支持性也很好,同时也支持多种操作系统平台”,Nuss说,“其他的文件系统无法在一个集群环境中同时支持多种Linux、Unix、Apple和Windows操作系统平台”。

StorNext文件系统是一个异质的、共享的文件系统,同时带有整合的归档功能。它能够让系统共享高速的图片、媒体、内容、分析数据以及其他文件,无论是SAN连接环境还是LAN连接环境,这些文件都可以得到快速的处理和传输。根据Nuss的说法,StorNext的强项在于高性能数据速率和高容量(按文件大小和文件系统中的文件数量来算)。

IBM GPFS

IBM的通用并行文件系统(GPFS)的历史已经好几年了。

Iluminata公司的分析师John Webster说:“GPFS是一个针对AIX和Linux的高性能、共享磁盘、集群式文件系统”。

起初,GPFS的设计是针对技术性的高性能计算(HPC),但是随后它扩展到那些需要高性能、高容错和高容量的环境,比如关系型数据库、CRM、Web 2.0和媒体应用程序、工程、金融应用程序和数据归档。

“GPFS是建立在一个SAN模型上的,所有的服务器都能看到所有的存储”,Neville说,“为了能够访问那些没有SAN连接的系统的数据,GPFS提供了一个能够模仿SAN的软件,从而能够在像以太网这样的通用用途的网络上访问数据”。

在每个文件系统中,数据被分成条带写入各个磁盘,使得每个磁盘都可以拥有足够的带宽来为一个文件服务,或者这些磁盘的带宽可以整合在一起为多个文件服务。集群内的所有节点都可以得到这样的性能。GPFS还可以设置成零故障模式。除了核心的文件服务功能外,GPFS还能够在集群之间进行数据共享,此外,GPFS还提供了一个基于策略的信息生命周期管理(ILM)工具,通过这个工具,数据可以在不同层的存储(包括磁带)之间进行迁移。

此外,GPFS还可以用于文件服务NAS集群的核心,通过NFS、CIFS、FTP或HTTP协议,来自集群中所有节点的数据都能够同步地得到处理。集群还可以根据需要增加或移除存储设备或节点。IBM Scale Out File Services(SoFS:可扩展文件服务)产品以GPFS为基础,同时增加了一些新的功能。

“随着以文件为中心的数据和存储继续快速扩展,同时随着HPC、Web服务以及其他类似行业的趋势,NAS预计将采用标准的低成本组件,成为一个可扩展的模型。成本也是GPFS的一个主要优势”。

更多内容,敬请期待

虽然上面的厂商大部分都声称在多个领域占有优势,多数厂商还是承认有一些弱点。用户可以通过现场测试并且充分利用自由测试期间来观察这些文件系统在你的环境中表现如何。

此外,我们还只是粗浅地讨论了这些系统。今后的文章将进一步讨论NetApp(纳斯达克代码:NTAP)、Sun(纳斯达克代码:JAVA)以及其他的一些传统的文件系统协议,比如CIFS和NFS。最后,并不是所有人都需要超高性能。