北京时间 6月12日,IBM“随需应变的信息架构”论坛在上海正式召开。IBM就企业信息化发展进程所面临的诸多挑战与用户进行了交流。来自各个行业近五百名企业CIO参加了此次论坛。来自浙商银行的CIO宋士正先生介绍了中国浙商银行EDW项目的成功经验:
大家好,非常高兴能够有机会参加IBM举办的随需应变信息架构论坛。刚刚各位专家把数据已经阐述得非常深刻,接下来我跟大家介绍一下和IBM合作完成的我们浙商银行数据仓库信息管理系统的具体实践。浙商银行主要从去年下半年开始进行了企业及数据仓库系统的建设,目前一期工程已经结束了,从系统建设的情况来看,我们总体认为是成功的。正因为我们认为我们是成功的,达到了预期的效果,今天受到IBM的邀请来讲我们的实践,所以还是有点底气。
首先我们简单认识一下浙商银行。我们银行成立在2002年8月,经中国银监会批准设立的第12家股份制商业银行,成立以来实现了资本规模效益和质量的协调快速发展,应该说目前在省内和省外(主要是成都分行)开设了十几家分支机构,今年上海分行和天津分行都将开业。浙商银行还是一家小行,但是也应该说浙商银行是在快速发展中的银行。
我们要建一些数据仓库管理系统要有几个步骤,首先第一个我们要实现银行的差异化服务,提供个性化产品,以及其他各个方面的管理分析应用,肯定要把这个信息系统整体架构建起来。所以第一个想法是要建立统一的信息系统整体架构,逐步推进分析系统和业务处理系统形成动态的链条。
我们希望在统计分析辅助决策作出快速响应,准确掌握足够的信息并且应用足够的信息。我们要对数据分析有管理服务必须先有信息积累,这个积累也是我们的出发点,没有数据积累就没办法做数据管理方面的工作。再一个从业务管理层面希望认识客户的喜好,认识客户的特性,当然也认识产品认识渠道,认识我们所有的竞争对手,提高我们的核心竞争力。再一个长远来看,我们也通过挖掘我们的数据,实现识别、监测和控制风险。
银行是一个经营货币的,同时也是一个经营风险的企业,所以我们最终地目标还是要控制风险。这是我们基本的大的驱动因素。从现实的需要来看当然我们也有一些最近的具体需要,第一个我们就是要完成我们的风险绩效考核系统。我们这个绩效考核系统是比较复杂的,是基于经济、资本、计量的考核系统,这个当中有大量的数据需要分析整理计算。
第二个大家都知道在银行里面必须要完成银监会的工程,叫1104工程,还有人民银行、国家外汇管理局等反洗钱的要求,还有各类统计分析报表。另外还做了一些分析方面的尝试,包括流动性分析,净利差分析,客户流失分析,授信限额分析等分析方面的工作。这也是我们现实的需求。当你建数据仓库有长远的目标没有现实的需求也是会产生阻力的。我们也在想数据仓库信息管理系统,我在银行干的时间比较长,数据仓库管理系统的建设以前感觉难度大,失败的概率比较高,从技术部门管理部门都有一些难点。
我们分析一下感觉当中应该有这几个方面的难点困惑。业务部门需求不明确,而且不断变化。第二个传统的方法已经不能有效解决上述问题。一般通过需求分析,系统设计、建设、维护传统的方法没有办法完成管理信息系统建设。当然满足业务部门的需求有时候我们发现从IT部门来讲,会花非常大的力气和时间编制程序,而且传统的办法经常被业务部门投诉。这也是一个困惑和难点。
企业的管理部门和业务部门也会有很多困惑,第一个无法向IT部门准确表达自己的需求,说不出来,只知道有一个想法,不知道怎么写出来。第二个随着对问题和市场的进一步了解应该明确需求出现是必然的,没有需求就没有办法创新产品。再一个我们无法从现有的系统当中得到及时响应,我要一些管理分析报表要一些数据挖掘信息,觉得没有办法拿到。现有的数据和质量也不能满足各类业务分析的需要。这是我们感觉的一些困惑和难点。
我们总体感觉在管理信息系统建设当中面临着这样两个怪圈。第一个怪圈没有完整的业务需求不能设计和建造完整的系统架构。从业务上看没有建造完整的系统就提不出完整的需求。第二个怪圈没有高质量足够的数据就不能做管理信息系统,没有管理信息系统的建设就没有人去想这些问题。相互都牵扯在一起,我们感觉管理信息系统建设对技术部门来讲是一项挑战,也是不能不面对的。刚刚前面讲有一些长远的驱动因素现实的需求必须要去做。
我们想这样一个理想做法能不能找到这么一个方法来共同帮助我们把管理信息系统建好,这个是一个基本的出发点。希望以不变应万变的系统架构,希望未来的系统在开发的时候不要花太多的力气,希望有长远的效益,不要重复建设,能满足近期和长远的需要,不要为建设数据仓库而建设数据仓库。这是我们主要的出发点。刚刚讲了理想的做法和出发点,以这两个为出发,看看有一些什么办法能够找到这么一家比较好的公司比较有实力的公司帮助我们把数据仓库管理信息系统建好,实际上我们这个管理信息系统是与IBM公司进行合作完成的。
这里可以简单和大家说一下我们为什么选择IBM。第一个我们认为IBM具有企业及数据仓库系统建设的整体解决方案。第二具有全球数据仓库建设的经验积累。第三个总体感觉IBM这些方法能够比较好地符合统一设计、逐步装修、一劳永逸、保持最新的理想建设方法。
总结一下管理信息系统建设走过的路,有这么几个做法。第一个做法我们认为这是一个失败的做法,各自为政,短期利益。它的缺点主要是没有满足全企业的需求,一个一个小房子建好了再造高楼大厦很困难。第二种失败的做法我们认为贪大求全,闭门造车,在管理信息系统贪大求全闭门造车也是一种失败的做法。主要立足内部的业务需求,希望一次建设完成,也不行。
什么样的数据仓库信息管理系统是比较好的方法呢?统一设计、逐步装修、一劳永逸、保持最新。这样一个方法我们认为在建管理信息系统的时候是比较理想的做法。它的优点包括统一规划、整体架构,避免资源浪费。在架构的基础上逐步实施,不仅可以降低项目的投入,而且可以很好地控制项目的进度。一劳永逸持续发展完美结合,整个架构建好以后,可以根据你的需要去完成工作,不断推进。
这样一个做法我们认为是比较好的理想做法。我们想这样一个理想做法能不能找到这么一个方法来共同帮助我们把管理信息系统建好,这个是一个基本的出发点。希望以不变应万变的系统架构,希望未来的系统在开发的时候不要花太多的力气,希望有长远的效益,不要重复建设,能满足近期和长远的需要,不要为建设数据仓库而建设数据仓库。
这是我们主要的出发点。刚刚讲了理想的做法和出发点,以这两个为出发,看看有一些什么办法能够找到这么一家比较好的公司比较有实力的公司帮助我们把数据仓库管理信息系统建好,实际上我们这个管理信息系统是与IBM公司进行合作完成的。这里可以简单和大家说一下我们为什么选择IBM。第一个我们认为IBM具有企业级数据仓库系统建设的整体解决方案。第二具有全球数据仓库建设的经验积累。第三个总体感觉IBM这些方法能够比较好地符合统一设计、逐步装修、一劳永逸、保持最新的理想建设方法。
当然我们也感觉IBM的产品线齐全,开发比较好。我们对IBM的系列产品用得比较多一些,可以得到保护。当然我们也注意到IBM公司在协调资源方面,在全球资源协调方面,在推广数据仓库方面也进行了很多战略投入,这样也是我们选择IBM比较重要的因素。再一个我们总体感觉IBMEDW方案符合我行的建设方向,现在SOA面向服务的体系架构感觉比较热,当然IBM有一个自己本身在这个信息框架当中已经把这些规则全部定义好了,这个本身和SOA方向是一致的。我们也希望沿着这个方向走下去。当然IBM还有一些成熟的团队,有比较好的实施方法论,包括BI的方法论和一些管理方法论等。都是我们选择IBM的理由之一。
接下来可以看一下浙商银行企业及数据仓库的架构。这个架构比较简单,抽取原数据通过ETO对数据质量进行校验,形成一个业务仓库平台。通过企业总线实现数据仓库的各类应用,最后实现数据决策机制、业务分析、风险控制一个简单的整体架构。整体架构的情况主要在全行范围里面建立数据业务的统计视图,完成企业信息的整合,基于企业数据仓库信息管理系统的平台。
第二个建立全行统一的报表体系,在概念层建立各个业务部门对业务度量的统一理解,实现全行指标共享。刚刚前面讲各种不同系统的数据规则和定义不一样,质量各不相同,必须建立统一的体系。我们要综合利用多维分析,数据挖掘,第三方引擎来建立以下利润分析、市场分析、资产负债分析、信用分析等等方面的基础,希望能够建立浙商银行数据管理模型框架,逐步推进实施。我们也知道中国银监会目前在引进国外的一些监管体系监管思想,我们分析以后感觉IBM的解决方案和模块很符合。
再一个希望最终的数据为业务服务,希望我们分析挖掘的结果可以与业务系统形成一个统一的闭环,提高核心竞争力。整个数据仓库这个项目是一个发展的过程,不可能一次性建完,所以沿着统一规划逐步装修的思路,把整个数据仓库项目建设实施分为三个阶段。第一个阶段是平台建设,基本上花九个月时间,到目前为止整个系统已经建设完成,而且已经投产上线,目前情况来看系统运行良好。
第二个过程主要是深化一些业务运营分析,多维分析运用,反洗钱等。第二个阶段我们已经和IBM公司在协商探讨当中,今年希望第二个阶段也启动。当然这个阶段过程稍微比较长,前面建平台,第二个阶段具体加载一些应用,相对长一些。一般情况下计划两到三年的时间,还可以分一些阶段。第三个就是远期的,主要企业战略方面,包括提升业务决策支持等,还有前面讲的对操作风险、市场风险、信用风险等等进行计量监测,从而达到控制的目标。
这是我们总的项目实施规划。整个数据仓库管理信息系统软硬件平台都是采用IBM的,我们买了四台IBM小型机系列,同时购买了IBM的8100存储系列,目前数据相对比较小,所以容量保持在2个T。整个体系我们基本是采用IBM的体系,软硬件平台。
这个方案当中我们主要是采用了一个IBM的金融服务数据仓库模型,包括了三个方面的内容,一个是数据仓库,数据模型,它提供了数据仓库实施的方法论,以及数据仓库建设的蓝图。第二个包括了81个银行业务模块,主要是在数据分析和报表的应用方面的一些模块。再一个还包括17个应用解决方案。方案当中最重要的也就是采用了IBM总的金融服务的数据模型架构实现整个系统的,这是最主要的。当然这个我们会基于SOA架构定义数据模型的基础。我们还采用了DB29版本,主要是采用WebSphere来构建我们的服务器。我们的总集成商负责整体开发,负责整体项目的规划,同时也选择了国内的一些合作商做一些具体的开发工作。
也是出于成本考虑的需要,IBM牵头做一些核心的部分,由国内合作商做一些具体工作,当然这也是节省费用的一方面考虑。IBM数据仓库实施有非常多的方法论,包括我刚才讲的数据仓库方法论,包括项目实施方法等等。当然还提供了大量的基础方案模板,为今后驱动整个项目的后续实施提供了比较大帮助。
整个项目建到现在为止也有一些小小的经验和大家做一些简单分享。第一个刚刚前面讲的两种失败做法加上一种理想做法,在这种情况下可以得出一些经验。不能以部门局部需求或眼前需求为导向设计我们的系统,必须要设计整体长远的架构。以前数据仓库建设失败已经多的是一个小需求拿来我们为此建设一个数据仓库,购买硬件软件平台,设计一些模型,最后这个模型没有办法继续推进,实际上这个项目就好象就事论事的,后来失败了。
另外一个我们感觉这个是必须利用数据驱动和模型驱动来同步推动建设整个数据仓库的系统架构。IBM有很好的数据仓库建设模型,这个模型把你的数据定义规则逻辑模型数据模型全部定义好了,定义好的当中我们必须以架构为我们的先导,这样去建设我们的基础架构。这个架构我们认为是可以保持一定的时间,可以长远往前推进的。至于我们用不到的东西,我们暂时不去使用的东西,可以逐步逐步完成,把这个房子逐步逐步装修,这样整个架构不会推倒。感觉这是一个经验。
第二个经验一定要坚持业务驱动,如果不坚持业务驱动,数据仓库就变成为建数据仓库而建数据仓库。对管理层也没有办法交代,这个数据仓库建好了一点功能没有肯定没办法交代,必须有具体的业务驱动。可以选择一些必须的,选择一些棘手的,比如绩效考核系统、多维分析等简单的数据挖掘。可以达到范围小,见效快,投资回报率高的目的,所以在具体建设的时候一定要有总体架构,一定要有小的具体需求。这是第二个我们的体会。
第三个体会我们感觉数据仓库建设是一个长期的过程,不可能一朝一夕全面建成,因此我们必须设定分阶段的实施目标。数据仓库建设好了必须长远走下去,最终走向风险控制,必须往前走,是一个长期过程。这个长期过程必须设定分阶段的目标,这样给人感觉你这个数据仓库的建设会给人有一些积极性,不停往前走,是一个正确的方向,积极性没有了以后可能没有办法继续建设数据仓库。第四个我们觉得系统架构优化设计非常重要。
刚才专家都阐述得非常深刻,数据质量、规则、定义不一样,不同的业务系统完成不同的业务,包括客户信息、帐户信息,可能每个不同的系统引进不同的系统,不同的系统、厂商引进来,标准都不一样,你会发现建立一个统一的业务分析视图必须统一标准,统一规则,统一定义。所以在做数据仓库的时候必须同时对主要的业务系统进行改造。比如银行里面的核心业务处理系统,授信业务系统,这是两个非常重要的系统,必须同时进行改造,基本的东西改造量不是很大,但是必须要考虑这个问题。
第五个体会我们要选择开放的代表先进技术方向的方案,当然也要考虑今后SOA架构。先进的技术方案的目的是为了避免失败,长远来看,一些大的行系统建设时间更长,需要SOA架构进行整合。小的行来讲更需要SOA架构,尽快设计成SOA架构使你的信息系统今后会避免很多不必要的麻烦。
所以必须满足SOA的架构方向。当然建设数据仓库需要数据积累,因此我们感觉要建数据仓库宜早不宜迟,你需要大量的数据积累,半年一年对客户行为的分析、产品的分析、利润的分析、风险管理的分析,有时候感觉分析结果非常不正确,数据不够,没有一定的数据量是得不到比较准确的分析和挖掘结果的,所以要建必须早建。
当然建数据仓库对管理层和业务部门的支持非常重要,因为数据仓库最终是为管理部门服务的,如果他们没有兴趣和需求的话,建这个数据仓库没有任何意义,那结果就会走向失败。当然前期在建平台的时候,建架构的时候,我们认为有IT部门的驱动比较合适。但是平台架构建完以后,必须要有一个部门进行驱动,必须要提出它的需求,
然后共同把这个仓库往前推进。再一个体会我们觉得要建数据仓库是一个复杂的工程,长期的工程,我们需要有专业的实施队伍,特别是在模型架构方面。模型价格直接决定了你这个仓库是否可以往前发展,是一个基础。我们必须选择有经验的,有专业队伍的合作商。综合以上的因素,还有我们九个多月的实践也表明,IBM在数据仓库建设方面是一个比较好的合作伙伴。 我简短给大家介绍一下我们浙商银行在数据仓库信息系统管理建设方面的具体实践,谢谢大家。