DoSTOR存储分析:细数全球最大的SAN环境(二)

DoSTOR存储分析 12月20日国际报道:全世界的用户都在同飞速增长的数据作斗争,因此我们有必要看看世界上最大的存储部署是如何满足其需求的。很明显,对于这份清单上的组织来说,规模非常重要。

从美国军队到超级计算站点和互联网服务提供商,这里列出的组织都已经部署,或计划部署超大规模的SAN。

至于我们在本年初所点出的那些大型SAN,这个清单只是我们要找出那些超级SAN的长期努力的一部分。如果你有大型SAN要诉说,我们很乐意听。点击留言板,给我们打电话,或给我们发信息都可以。

那么,言归正传,让我们现在看看世界上5个最大的SAN:

环境快照:美国军队正在建设一个庞大的PB级SAN,来支持其关键通讯架构。

主要提供商:戴尔,EMC,NetApp

美国海军正致力于构建PB级超级SAN来支持其海军及海军陆战队内部网(NMCI)。这有可能是世界上最大的存储网络。

美国海军庞大的内部网提供了一个基于Web的通讯架构,面对对象是超过450,000名海军和海军陆战队人员,以及在美军两个分支机构工作的普通公民。

NMIC目标是为内部网用户提供100MB的存储和50MB的交换空间。本年初,海军开始展开"单一邮箱恢复"服务,目的是在数据丢失发生后的20分钟内恢复用户的邮箱。

EDS是NMCI项目的第一个承包商。它在它的网站将这个项目描述成"世界上最大、最安全的私人网络"。虽然有一些性能表现和款项支付上的纠纷,海军部门还是在去年将EDS的合同延长到2010年。

戴尔自2000年开始为NMCI提供初始的2PB存储架构,虽然NetApp和EMC自那个时候已经进入到这个项目。

该项目的咨询师AkiraRobinson在本年初解释道:"我们有一个SAN来支持这个,而且我们充分利用了直连式存储"。他还补充道这个硬件分布于三个网络操作中心(NOC)–佛吉尼亚州的诺福克、加州的圣地亚哥和夏威夷州的珍珠港,以及世界各地超过一百个的服务器群中。

NMCI项目的具体细节很难得到,然而这个内部网据说占了EDS所管理的存储架构的很大一部分,而EDS管理着超过12PB的存储。

虽然NCMI的规模很大,但是国防部(DoD)还是因为其对这个项目的处理而继续遭到批评。例如,十月份,政府责任署(GAO)警告说海军需要更密切地监督NMCI的性能管理。

美国海军已经在使用IT基础架构库(ITIL)来加强其对NMCI项目的控制。在此之前,已经有通用电气和美国太平洋空军(PACAF)通讯和信息委员会使用ITIL来帮助重组其技术服务平台。

ITIL架构已经被广泛接受为一个参照点,ITIL是覆盖应用程序管理、安全和IT服务提供过程的最佳参考实践。

环境快照:互联网企业已经在虚拟化放在了计划的中心,用以管理其快速增长的SAN。

主要提供商:Brocade,EMC,YottaYotta

作为其长期工程的一部分,互联网巨头AOL(美国在线)目前正构建其4PBSAN来应对该企业惊人的数据增长。AOL的运作架构师DanielPollack说"我能看到它将翻一番",他解释道这个SAN在未来几年中将很容易地增加到8PB。

这个SAN采用Brocade的光纤通道交换机和EMC的硬件,同时支持AOL的内部和外部系统。Pollack说"它主要是(EMC)DMX1000s;我们也有一些DMX950s和ClarrionCX-80s和700s"。

这个网络为AOL内部大约3000个系统提供存储,而Pollack说该企业准备将很大部分数据虚拟化。

他说"我们有大约10%的虚拟块存储",并解释道AOL本年初从YottaYotta那里购买了虚拟化设备,并进行了部署,用于支持其数据迁移。

这名经理说"过去我们持续性数据迁移的工作负荷总是很大",并补充道,在虚拟化以前,当他要移动一块阵列时,他需要协调80个内部用户。"这真的是很糟糕"。

通过在SAN的前面部署YottaYotta的GSX3000设备,Pollack说他革命性地提高了AOL移动数据的能力。
"虚拟化将前端从后端抽象化了出来,因此我们可以随时改变后端"。

AOL目前正计划将块虚拟化解决方案扩展到它的整个SAN架构中。Pollack说:"在2008年底以前,我们将完成90%的虚拟化–剩下的将在2009年初完成"。

环境快照:未来几年,这个超级计算站点将迎来数据爆炸式增长,数据量将达到现有SAN规模的四倍。

主要提供商:Brocade,EMC,DataDirectNetworks,Engenio,Finisar,Nagios。

位于伊利诺伊大学香槟分校的NCSA(国家超级计算应用中心)为世界上一些最大的超级计算机设计软件,同时也进行自己本领域的研究,如DNA排序和天体物理学。

该中心的SAN架构目前有大约1.4PB磁盘存储的存储容量,而这个数字预计将在2012年增加到10PB。这个SAN主要采用BrocadeSilkworm交换机以及来自DataDirectNetworks和Engenio的硬件,并部署了EMC的4PBDiskXtender归档系统。

"根据目前的许可证,这个归档系统可以发展到10PB",NCSA的技术项目经理MichellleButler说,"我们的归档几乎每年都翻一番,因此我们将达到这个数。"

SAN的连接采用光纤通道,而NCSA目前希望升级这个架构。"现在是2或4G",Butler说,"但我们有很多工作要用到10G"。

由于数据增长是如此之快,因此NCSA需要认真考虑如何监视其架构。

NCSA的技术经理AndyLoftus说"手动跟踪的话要花太多的人手"。他解释道,该中心用一套自动软件工具来跟踪所有事物。

这些工具包括一个名为LogSurfer的开放源代码的工具,NagiosWeb接口软件,以及Finisar的NetWisdom产品。

Loftus解释道:"LogSurfer监视日志,并报告给Nagios,而Finisar则监视SAN本身的传输,而且我们用它来进行运行状况分析和性能基准衡量"。

眼下,NCSA的SAN还处于初步阶段,它必须分别支持5个超级计算机,包括最近开始运行的90-TflopAbe系统。

环境快照:数字图像存储造就了庞大的22PB的SAN

主要提供商:HP,Brocade,DataDirectNetworks,PolyServe,QLogic,SGI

随着越来越多的人希望在英特网上分享他们的数字图片,在线图像服务提供商Snapfish预测它的SAN的规模将在未来几年飞速增长。

该公司在2005年4月被惠普以据说3亿美元的价格所收购。该公司在大约三年前开始构建SAN,现在它正计划对这个SAN进行大规模升级。

"每个季度我们都会或多或少地增加存储",Snapfish的存储架构师DavidLee说,"我们一年大约增加50%到60%"。

这家公司位于旧金山,它有7.6PB的存储容量,现在正使用其中的5PB容量,而这位经理预计未来几年或未来两年它的SAN就会有爆炸式的增长。

Lee认为,Snapfish的SAN在2008年秋季以前就能很快地达到10PB。他说:"我们刚刚建好了一个新的数据中心,使用其全部容量的话,预计会有22PB。"

这家公司已经在旧金山有了两个数据中心,但还是被迫去建立第三个数据中心来支持其数据增长。新的数据中心位于德克萨斯州,占地25000平方英尺。"我们几乎没有空间和电力了"。

Snapfish的SAN大约有22个惠普EVA(企业虚拟阵列)设备,以及超过100个惠普模块化存储阵列(MSA)。它的图像服务,使用PolyServe来进行丛集。在三个数据中心,部署了12个Brocade48000导向器,以及42个Brocade4GB/秒交换机。Lee说"我们在网络的核心使用导向器,而在边缘使用单独的交换机。"

Snapfish还在其数据中心部署了大约300个Qlogic主机总线适配器,而且还使用一些"中等规模"的来自DataDirect和SGI的阵列来补充其企业虚拟阵列和模块化存储阵列。

考虑到Snapfish的SAN架构还处在初期,Snapfish的增长看起来真是太快了。Lee解释道Snapfish原来是NetApp的一个直连式存储的部门,他说:"在我们被惠普收购前,我们就已经开始着手SAN了"。

"一旦(SAN)架构建立起来了,那么升级磁盘存储就很容易了。过去,如果我们想要同NetApp进行升级,成本就很高。"

Snapfish目前还是有大约8个NetAppR200近线存储设备,而Lee告诉ByteandSwitch杂志说他的下一个大项目是基于IP的光纤通道(FCIP)。

"我们目前正讨论使用这个(FCIP),因为从可用吞吐量来说,我们的光纤通道架构远远大于我们的IP架构",他说,"我们进行很多数据移动–我们要在几小时内移动TB级的数据,因此我们希望4G光纤通道能够为我们提供大的吞吐量"。

环境快照:非盈利组织学习Google来驾驭其存储网络。

主要提供商:CapricornTechnologies

这个位于旧金山的组织正面临着超级繁重的任务,它要将所有Web上产生的网页都记录下来。这真是一个令人惊奇的任务,而且这个任务需要一种严谨的存储架构。

InternetArchive(互联网档案馆)的创建人BrewsterKahle解释道:"我们还正在将无数的书进行电子化"。他补充道该组织还正考虑存储音乐和视频数据。

"有两家其他公司也在做相同规模的事情–Google和Hotmail,但是除此之外就没有了。"

和Google一样,InternetArchive也要驾驭几千个Linux机器。

InternetArchive建于1996年,它其实是一个庞大的电子数据库,它的存储网络包括大约2PB的数据。这个网络包括了2000台来自CapricornTechnologies公司的Linux计算机,通过以太网连接,每个计算机大约包含4TB数据。

这些计算机被称作"Petaboxes",它们使得InternetArchive可以在不必耗尽资源的情况下就能快速升级其运作规模。Kahle认为"它低成本,容易维护,低能耗,高密度"。

通过使用一个由Kahle及其团队开发的名叫"时光倒流"的工具,我们可以在互联网上访问这些归档的网页数据。这个名字让人想起1960年代Rocky&Bullwinkle的卡通剧。

对于未来的存储需求,Kahle告诉ByteandSwitch杂志说他目前正考虑Sun最近推出的ProjectBlackbox(黑盒子计划),这是一个能够装在集装箱里面运到用户地点的移动数据中心。

"对于那些处于和InternetArchive同一级别的单位来说,这是我所看到的能让我们感兴趣的第一步",他说,"你可以将3PB的容量放在一个货柜里面。我认为,这真的很有竞争力。"

上一篇:DoSTOR存储分析:细数全球最大的SAN环境(一)