石油行业存储系统升级成功案例:用SAN整合存储孤岛

    西南油气田勘探开发研究院是一家集石油天然气地质勘探、油气田开发、地质开发试验和计算机应用等为一体的综合性应用科学研究机构,多年来为开拓油气勘探新领域,扩大后备资源和科学、合理、高效开发油气田提供了重要的科学依据。 
  
    随着近年来科研手段的不断更新,计算机处理、数字化信息的存储在科研生产中所占比重越来越大,数据量的增加日渐提高。如何优化资源利用率,提高科研生产力,为勘探生产数据提供一个高可靠、易扩展、易管理的数据存储环境,以满足长期的数据存储需求是进行存储网络系统改造的初衷和目的。 
  
    研究院现行运转的地学综合计算机系统于2000年1月正式投产,该系统的硬件主要由SUN、SGI公司的服务器和工作站组成,应用软件则由来自7个国家、17家软件公司的近百种软件套件组成。包括LandMark、Schlumberger、ParaDigm、CGG等国际上的一些著名油气地质勘探开发公司的产品。 
  
    应用内容涵盖了地震资料的处理解释、测井资料的处理解释、试井分析、油气藏数字模拟、盆地分析模拟、圈闭描述评价、油气描述及储量计算等油气勘探开发全过程的内容,是进行现代地学系统综合研究的重要工具。 
  
    这套系统的硬件和软件环境比较复杂,包含不同的厂商、操作系统平台和存储设备。同时,随着生产的发展,系统的任务也日趋复杂。 
  
    这种情况下整体投产的系统显得错综复杂,同时多用户多任务的交叉工作也衍生了一系列的系统隐患和问题:网络负载过重,备份任务难以统一实施,数据的分布式应用与集中管理出现矛盾。 
  
    现有环境分析 
  
    研究院的系统平台包含有多个品牌的服务器及工作产品:SUN E5500服务器和Ultra60工作站,运行的操作系统为Solaris 2.6和Solaris 8;SGI Origin 2000服务器和Octane工作站,运行的操作系统为IRIX6.5.11m;曙光I200PC服务器和其它兼容PC,运行的操作系统为Window2003等Microsoft公司的产品。 
  
    存储环境也是种类繁多,3台服务器各自连接有SCSI磁盘阵列,其中SUN E5500连接的是Sun StorEge A1000,SGI O2000连接的是MegaDrive EV1000,存储总容量为5.8TB。 
  
    存在的问题及建议 
  
    根据以上的分析,研究院现有系统主要存在以下四点不足:第一、数据资源分布存储,数据重复占有存储空间,数据管理难度大; 第二、备份资源分散,备份任务安排难度大,无法集中备份;第三,频繁的数据传输给网络带来极大压力;第四、随着应用的增加,海量数据的存储需求增大,存储压力巨增。 
  
    因此,研究院对存储系统升级也提出了几点建议:



  • 第一,要同时支持现行的SGI IRIX和SUN Solaris操作系统,以保证对现行投产系统的全面兼容和支持,最好能够对Windows NT操作系统的数据也进行相应的存储考虑。

  • 第二,实现以存储系统为中心的企业级存储区域网络SAN,提供海量存储空间,并提供全光纤通道连接。

  • 第三,实现集中化管理,从局域网络中间的任何一台机器上面通过浏览器就可以管理和维护存储系统。

  • 第四,具备良好的可扩展性,为今后的扩容升级和容灾等扩展应用提供方便的接口和连接模式。

    因此,要解决以上问题,研究院需要规划一个具备高可靠性、异构平台共享、易管理、易操作、性能优良的解决方案,同时与现行系统实现平滑的过渡升级和容量扩展,存储容量要以满足研究院的中长期发展为目的。
  
    多方考察完成选型 
  
    根据以上的需求分析,西南油气田勘研院的方案定位在选择一套基于SAN存储区域网络架构的光纤磁盘阵列存储系统。系统包括一套光纤磁盘阵列,包含14TB的容量,2台光纤存储交换机,要求端口2Gb/s的传输速度,与服务器连接的HBA光纤通道卡以及配套的存储管理软件。购买方式通过项目招标实施。 
  
    根据方案的基本设计定位以及初步的市场了解,研究院将产品选型集中圈定为HP EVA5000、HDS Thunder9585V、SGI FP9500和EMC CX700等多款产品。 
  
    起初西南油气田勘研院对存储设备存在一些理解上的误区。比如,通常比较关心磁盘阵列的Cache配置,以为越大的Cache就会拥有更好的性能,事实上,这只是磁盘阵列性能的一个方面,由于不同厂商的磁盘阵列RAID技术有着不同的特色, Cache 1G的磁盘阵列未必就不如8G的磁盘阵列。厂商的技术特点各有特色,到底该选择哪一家得产品呢? 
  
    在招标中,研究院的选型焦点主要集中在光纤磁盘阵列的选择上。相对而言,HBA卡和存储交换机的类型比较统一,产品也比较固定。磁盘阵列的选型指标包括与现有设备的连接性、兼容性、容错能力、运行性能、存储容量、可管理性和附加软件功能这几个方面,评标的主要依据也是以这几个方面来进行比较和参考。 
  
    容错能力 
  
    容错能力通常是指在存储设备面对各种偶然性错误和意外情况的预期,以及采取的预防或补救措施。 
  
    由于存储系统是一个从软到硬的复杂系统,所以,对数据保护能力的评价应当考虑到整个系统,包括软硬件全方位的考虑,以及对数据完整性的保护、对写缓存的保护、对主机连接的保护、对远程容灾的支持等指标。这一点上,几个厂商的产品都能满足要求。 
  
    性能 
  
    对磁盘阵列产品来说,性能指数主要有2个:带宽和IOPs(每秒I/O次数)。带宽取决于整个磁盘阵列系统,包括与所配置的磁盘个数有关,而IOPs则基本由磁盘阵列控制器决定。 
  
    在Web、E-Mail和数据库等小文件频繁读写的环境下,性能主要由IOPs决定。而在视频和测绘等大文件连续读写的环境下,性能则主要由带宽决定。 
  
    可见,在不同的应用环境需求中,需要考虑的侧重点也各不相同。鉴于具体要求,研究院选型更关心的指标是持续IOPS。就这个指标而言,比较突出的是HDS 9585V和EMC 700产品,HP的特殊虚拟RAID方式也是很有特色的,其性能扩展也不错。 
  
    容量 
  
    容量是相对简单的一个性能指标。值得注意的是,选型不仅要关心产品的最大容量,还要关心厂商推荐的使用容量以及扩容成本等问题。这方面容量最大的是HDS 9585V,该项指标远大于其他产品。 
  
    连接性 
  
    在SAN环境中,光纤通道设备作为中心要连接主机、磁盘阵列和磁带库等设备,环境比较复杂,因此在产品选型时,需要充分考虑设备间的连接性、兼容性和通用性。
  
  选择具有良好的开放性和连接性的产品,不仅为当前系统正常连接和运行提供保障,也为系统未来扩展提供更大的空间和灵活性。
  
    管理性 
  
    首先要考虑产品所提供的管理功能是否实用可靠;其次,考虑支持集中化管理和远程管理的产品。此外,很多产品的故障自动通知机制会给用户带来意想不到的便利,但同时也要考虑到其可能构成的安全隐患。 
  
    另外,在配置改变或系统扩容时,还要尽可能考虑在线无须宕机或尽可能缩短宕机时间的产品,以满足企业具体应用的各种需求。从这个角度来看,各个厂商的产品和方案都很注重可管理性、可扩展性等。 
  
    附加功能(软件) 
  
    如今的存储产品,尤其是部门级和企业级的在线存储产品,已经不仅仅是存储数据的BOX,而是一个智能的小型系统。各厂商将很多功能性软件整合到自己的存储设备中,以向用户提供更好的解决方案。 
  
    这里SGI的产品提供了最具优势的产品?DCXFS,可以共享文件系统数据资源,大大提高文件访问和查询性能,从而对系统整体性能有着很大提高,而且该产品进行免费提供,具有很强的竞争力。 
  
    方案实施 
  
    研究院最终的存储系统选择了日立数据系统公司于2003年8月推出的9585V光纤磁盘阵列,搭配McData公司出产的4500 16口光线交换机,以及相应的配套软件HDS Resource Manager和SAN Navigator。 
  
    通过光纤互连方式连接现有的3台服务器以及一台文件服务器和一台PC服务器,组成一个可扩展的数据存储网络SAN,提供企业级的数据存储服务。 
  
    这个独立于常规局域网之外的高速数据传输网络,专门进行服务器与存储设备之间的数据通信读写,不占用常规网络带宽,提供2Gbps的数据传输通道,传输速度可达200Mbps。全面实现微机、工作站、服务器之间的快速访问,部分环境实现SAN BOOT(可以直接在光纤磁盘阵列上引导操作系统),使部分系统文件和全部数据文件都能存放在光纤磁盘阵列上统一管理、统一备份。 
  
    本次升级之后,研究院多个平台的数据实现了集中、统一的管理,这也为二级存储?D?D集中备份奠定了基础。研究院存储系统今年的建设重点将集中在以磁带库为核心的备份系统选型上。届时,研究院将具有包含在线和离线的两级数据存储系统,能够为业务系统提供更加安全可靠的数据支持。