某油气田勘探开发研究院是一家集石油天然气地质勘探、油气田开发、地质开发试验和计算机应用等为一体的综合性应用科学研究机构,多年来为开拓油气勘探新领域,扩大后备资源和科学地、合理、高效地开发油气田提供 了重要的科学依据。随着近年来科研手段的不断更新,计算机处理,数字化信息的存储在科研生产中所占的比重也越来越大,数据量的增加趋于海量数据。如何优化资源利用率,提高科研生产力,为勘探生产数据提供一个高可靠,易扩展,易管理的数据存储环境,以满足长期的数据存储需求是进行存储网络系统改造的初衷和目的。
存储需求
研究院现行运转的地学综合计算机系统于2000年1月正式投产,该系统的硬件主要由SUN、SGI公司的服务器和工作站产品组成,应用软件则由来自7个国家、17家软件公司的近百种软件套件组成。包括LandMark、Schlumberger、ParaDigm、CGG等国际上的一些著名油气地质勘探开发公司的产品,涵盖了地震资料的处理解释、测井资料的处理解释、试井分析、油气藏数字模拟、盆地分析模拟、圈闭描述评价、油气描述及储量计算等油气勘探开发全过程的内容,是进行现代地学系统综合研究的重要工具。这套系统的硬件和软件环境相对比较复杂,不同的厂商,不同的操作系统平台,不同的存储设备,同时,随着生产的发展,系统的任务也日趋复杂,从单纯的服务器、工作站和微机的交叉访问,到服务器的多角色调度?D?D既是处理系统又是服务器,还可能充当文件传输服务器,使得整体投产的系统显得错综复杂,同时多用户多任务的交叉工作也衍生了一系列的系统隐患和问题:网络负载过重,备份任务难以统一实施,数据的分布式应用与集中管理之间的矛盾。
现行的计算环境如下:
系统平台:SUN E5500服务器和Ultra60工作站,运行的操作系统为Solaris 2.6和Solaris 8;SGI Origin 2000服务器和Octane工作站,运行的操作系统为IRIX6.5.11m;曙光I200PC服务器和其他兼容PC,运行的操作系统为Window2003等Microsoft公司的产品。
存储环境:3台服务器各自连接有SCSI磁盘阵列,其中SUN E5500连接的是Sun StorEge A1000,SGI O2000连接的是MegaDrive EV1000,存储总容量为5.8TB。
存在的问题:
- 数据资源分布存储,数据重复占有存储空间,数据管理难度大;
- 备份资源分散,备份任务安排难度大,无法集中备份;
- 频繁地数据传输给网络带来极大的负载压力;
- 随着应用的增加,海量数据的存储需求增大,存储压力剧增。
另外,还要同时支持现行的SGI IRIX和SUN Solaris操作系统,以保证对现行投产系统的全面兼容和支持,最好能够增加对NT操作系统的数据也进行相应的存储考虑;实现以存储系统为中心的企业级存储区域网络SAN,提供海量存储空间,并提供全光纤通道的连接;实现集中化管理,从局域网络中间的任何一台机器上面通过浏览器就可以管理和维护存储系统;具备良好的可扩展性,为今后的扩容升级和容灾等扩展应用提供方便的接口和连接模式。
要解决以上问题,需要一个具备高可靠性、异构平台共享、易管理、易操作、性能优良的解决方案,同时与现行系统实现平滑的过渡升级和容量扩展,存储容量要以满足研究院的中长期发展为目的。
产品选型
根据以上的需求分析,西南油气田勘研院的方案定位在选择一套基于SAN存储区域网络架构的光线磁盘阵列存储系统。系统包括一套光线磁盘阵列,要求14TB的容量,2台光纤存储交换机,要求端口2Gb/s的传输速度,与服务器连接的HBA光纤通道卡以及配套的存储管理软件。购买方式通过项目招标实施。
根据方案的基本设计定位以及初步的市场了解,研究院将产品选型初步集中圈定为HP EVA5000、HDS Thunder9585V、SGI FP9500和EMC CX700等。
起初西南油气田勘研院对存储设备存在一些理解上的误区。比如,通常比较关心磁盘阵列的Cache配置,以为越大的Cache似乎就会拥有更好的性能,事实上,这只是磁盘阵列的一个方面,由于不同厂商的磁盘阵列RAID技术有着不同的特色, Cache 1G的磁盘阵列未必就不如8G的磁盘阵列。厂商的技术特点各有特色,到底该选择哪一家得产品呢?
在招标中,焦点主要集中在光线磁盘阵列的选择上面。因为相对而言,HBA卡和存储交换机的类型比较统一,产品也比较固定。考虑磁盘阵列的指标包括与现有设备的连接性、兼容性、容错能力、运行性能、存储容量、可管理性和附加软件功能这几个方面。评标的主要依据也是以这几个方面来进行比较和参考。
容错能力 容错能力通常是指在存储设备的设计方面对各种偶然性错误和意外情况的预期,以及采取的预防或补救措施。由于存储系统是一个从软到硬的复杂系统,所以,对数据保护能力的评价应当考虑到整个系统,包括软硬件全方位的考虑,以及对数据完整性的保护、对写缓存的保护、对主机连接的保护、对远程容灾的支持等指标。这一点上几个厂商的产品都能满足要求。
性能
对磁盘阵列产品来说,性能指数主要有2个:带宽和IOPs(每秒I/O次数)。带宽取决于整个磁盘阵列系统,包括与所配置的磁盘个数有关;而IOPs则基本由磁盘阵列控制器决定。在Web、E-Mail和数据库等小文件频繁读写的环境下,性能主要由IOPs决定。而在视频和测绘等大文件连续读写的环境下,性能则主要由带宽决定。可见,在不同的应用环境需求中,需要考虑的侧重点也各不相同。鉴于具体要求,这里更关心的指标是持续IOPS。就这个指标而言,比较突出的是HDS 9585V和EMC 700产品。但是HP的特殊的虚拟RAID方式是很有特色的,其性能扩展也不错。
容量
容量是相对最简单的一个性能指标,值得注意的是,不仅要关心产品的最大容量,还要关心厂商推荐地使用容量以及扩容成本等问题。这个方面容量最大的是HDS 9585V,该项指标远大于其他产品。
连接性
在SAN环境中,以光纤通道连接设备为中心,要连接主机、磁盘阵列和磁带库等设备,环境比较复杂,因此在产品选型时,充分考虑设备间的连接性、兼容性和通用性。选择具有良好的开放性和连接性的产品,不仅为当前系统正常连接和运行提供保障,也为系统未来扩展提供更大的空间和灵活性。 这方面HP的产品趋于弱势,因为HP的磁盘阵列不能直接支持SGI服务器的连接,必须通过NAS结构进行改造。其他的机器不存在这个问题。
管理性
首先要考虑产品所提供的管理功能是否实用可靠;其次,考虑支持集中化管理和远程管理的产品。此外,很多产品的故障自动通知机制会给用户带来意想不到的收获,但是同时也要考虑到其相应的可能构成的安全隐患。还有,在配置改变或系统扩容时,尽可能考虑在线的无须宕机或尽可能缩短宕机时间的产品,以满足企业具体应用的各种需求。这个方面,各个厂商的产品和方案都很注重客观理性、可扩展性等。
附加功能(软件) 如今的存储产品,尤其是部门级和企业级的在线存储产品,已经不仅仅是存储数据的BOX,而是一个智能的小型系统。各厂商将很多功能性软件整合到自己的存储设备中,以向用户提供更好的解决方案。这里SGI的产品提供了最大的优势产品CXFS可以共享文件系统数据资源,大大提高文件访问和查询的功效,从而对系统整体性能有着很大的提高,而且该产品进行免费提供,呈现很大的竞争实力。
方案实施
最终的存储系统选择了日立数据系统公司(HDS)于2003年8月推出的9585V光纤磁盘阵列,搭配McData公司出产的4500 16口光线交换机,以及相应的配套软件HDS Resource Manager和SAN Navigator。通过光纤互连方式连接现有的3台服务器以及一台文件服务器和一台PC服务器组成的一个可扩展的数据存储网络SAN,提供企业级的数据存储服务。这个独立于常规局域网之外的特殊的高速数据传输网络,专门进行服务器与存储设备之间的数据通信读写,不占用常规网络带宽,提供2Gbps的数据传输通道,传输速度可达200Mbps,全面实现微机、工作站、服务器之间的快速访问,部分环境实现SAN BOOT(即可以直接在光线磁盘阵列上引导操作系统),使得部分系统文件和全部数据文件都存放在光线磁盘阵列上统一管理、统一备份。