广西某银行数据存储与高速查询

客户需求

“我有很多数据,分散在不同的系统中,我的所有数据都很重要,我随时随地需要存放和提取他们,速度要快。”广西某银行科技处处长蒋芳方用最直接的方式表达了银行业务系统对存储的需求。

和大多数商业银行一样,中国某银行广西分行(以下简称广西某银行)为了适应客户在多样化、深入化等方面的服务要求,在不久前对其信息基础架构进行了“集中整合”,实现了会计与储蓄系统 全省集中。

然而在数据集中的过程中,银行科技部门发现了一个严重的问题:从银行的核心业务中,每天要产生 700MB-1GB 的数据量,再加上大量的历史数据,银行原有的数据存储系统已经不能满足当前数据存储处理的需求。

当将这些需求转化为抽象的技术问题时,首先应该考虑的是存储设备的容量,其次是速度、稳定性和安全性;另外,管理也是一个比较容易被忽视的问题,但由于它涉及到企业的TOC(整体拥有成本),所以也必须考虑。更为重要的是,银行由于较早就建立了办公自动化系统和电子邮件系统, 数据的来源丰富,因此要求存储系统必须提供多种接入方式,以便有效地保护现有投资,提高数据的可靠性,加强数据共享。

技术方案

1、让 SAN 和 NAS 融 和

银行原有的存储设备主要是 DAS(直接连接存储) ,考虑到新建系统要满足海量存储、高速访问的要求,同时还不能因为数据备份影响业务系统在网络上的运行效率,则只有采用 SAN 存储系统架构。但接下来的问题是,如何使旧系统中的数据也能够方便地存放到 SAN 系统来,同时还要让使用感觉不到数据在不同系统中的转换,唯一的选择是启用目前还没有人尝试过的SAN 与 NAS 融和的方案。这样广西某银行的数据存储系统就形成了 DAS+NAS+SAN 三种存储结构并用的局面。

2、要一劳永逸地解决问题

客户说:“选择产品我们首先要考虑可靠性和速度问题,但扩充性及接口问题也是必须强调的。作为银行,数据集中之后,接下来就会有许多针对数据进行的分析、挖掘工作,让孤立的数据关联起来,产生效益是必然的趋势。因此,存储系统作为重要的 IT 基础设施,必须为这些应用做好充分的准备。”

在银行存储系统选型过程中,选择 IBM 的系统是没有争议的,客户说:“我们看重的并不是一次性投入的成本,而更重视信息系统能否给银行业务 发展提供良好的平台。在选择设备前我们也做过一些分析,与同类产品相比,我们认为 IBM 的最大优势在于有一整套业界认可的方案,该方案既 满足了银行基本业务处理对存储系统的需求,同时又给管理信息系统、邮件系统等历史数据提供了再利用的空间。IBM 的鲨鱼 存储服务器,提供了光纤、SCSI 接口,特别是IBM 的 NAS300G 产品,可以与多种系统共享数据,有效利用了资源,为各类现有和未来可能的应用提供无缝连接,较好地解决了接入问题。”。

3、高度融和的数据存储池

银行数据集中系统采用了三台 IBM S80 系统,一台作为储蓄系统主机,一台为会计系统主机,一台则作为账务集中系统。这三台主机通过两条光纤线路与两台 IBM 鲨鱼 存储服务器进行连接,而这两台鲨鱼存储器,一台专门用于联机处理业务,包括储蓄银行卡系统和对公业务系统,另一台则专门用于存储历史数据以及其他的接入,例如通过一台 NAS300G,与 IP 网络上的邮件服务器和 TSM(Tivoli Storage Management)服务器进行连接,同时作为 HSM(Hiberarchy Storage Management)的 Cache(高速缓存)使用。(银行存储解决方案如图所示。)

该系统通过 IBM 2109 交换机端口 Zone(HardZone),简化了主机的设备管理。主机通过SDD(Subsystem Device Driver)可以充分利用带宽,又可以实现互为备份,这些看似小的功能却可以使可靠性得到极大的提高。

4、安全高于一切

作为用户,银行的科技人员最关心的是数据的安全性问题,而保障安全通常有两种方法,一是技术,二是管理。虽然银行选择 IBM 公司的方案及产品是基于对 IBM 公司的信任,但是对于银行来说,数据就是一切,一旦出现问题,岂是几百万资金可以弥补的!

为了保证系统在绝对安全的环境中运行,存储系统中所有的硬件都采用冗余结构,任何一台主机到任何一台存储设备之间都采用双通路。另外,在广西某银行的“鲨鱼”存储服务器中,IBM 在设计 Cache(高速缓存)时,就坚持对写入的数据保留两份拷贝,当进行数据写操作时,写入 Cache 的数据也同样被写入 NVS(Non-volatileStorage)中,然后再将数据写到磁盘上,这样避免了单一 Cache 故障造成的数据丢失,大大地保证了数据的安全性,从而把风险降到最低。

5、拥有“无限”空间

任何存储系统的空间都是有限的,银行虽然建立了 SAN,并购买了两台容量分别为400GB 的 IBM 鲨鱼企业级存储服务器,但是与快速增长的银行业务相比,存储器的容量仍然显得很有限。为了能更好地利用有限的存储空间,银行的存储系统采用 IBM Tivoli 管理软件对硬件进行管理,将系统中的海量数据有序地存储到磁盘上去。

其中,特别要提到的是 Tivoli 系统中的 TSM,TSM 是一个专业化的存储管理工具,它可以在客户端为超过 30 种操作系统平台提供备份和恢复服务,服务器端可以运行在多种平台之上,包括 AIX、WindowsNT、HP-UX、SunSolaris、MVS 等。它能够备份及恢复分布式数据、应用和数据库,包括 DB2、Oracle、Sybase、Informix、MS SQLServer、MS ExchangeServe、Lotus 应用以及 SAP/R3。

尤其通过分层存储管理(HSM)功能,TSM 的用户可能拥有几乎“无限”的硬盘空间。原因是 HSM 服务可以自动将不常用的数据从昂贵的磁盘移到磁带库或磁带库上。目的是尽量利用现有存储设备的资源,减少磁盘的升级,降低管理费用。

出于服务的需要,广西某银行出像其他银行一样,需要计算机系统提供 7*24 小时运作,他们需要更快、更可靠的数据备份方案,备份窗口越小越好。因此,而 TSM 的 “永久增量备份”方式可以让系统在初始时做所有数据文件的全盘备份,以后只备份新的或改动过的文件。这种方式有效地减少了备份时间和所需的存储容量,减轻了网络负担。当然,仅有强大的备份功能还不够,更重要的是在发生意外或灾难后迅速、可靠地恢复系统,广西某银行动用 TSM 独有的“磁带配置”和“磁带重用”技术,使每个客户机的每天的备份数据都对应放在一盒或一组磁带上,从而用最少的磁带数作全盘恢复,这是一种迅速、可靠的数据恢复方式。

从制约的角度看,信息基础设施与企业发展之间的关系,就像一栋正在修建的摩天大楼的地基与地面上楼层的关系,业务的发展就像不断在增高的楼层,而这栋楼最终能起多高,则取决于地基的深度和强度,同样,银行业务的发展也必须有良好、超前的信息技术平台。广西某银行所采用的存储体系结构,是一种创新的应用,蒋芳方在谈到系统所带来的好处时,表达也很直接、简单,他说:“这套高度融和的存储系统,允许我们把所有的业务数据放到里面,而不必担心其可靠性及存取问题,而最实用的地方是,它让你感觉不到存储的限制,不管是核心业务数据还是历史资料,也不论这些数据在什么地方,都可以很容易地存入到数据中心的存储系统中来。”