商业智能实施的难点
实施商业智能项目有许多难点,主要是几个方面。
第一,实施前的规划工作。实施前的规划工作非常重要,也有相当的难度。数据仓库项目是一个大而且实施周期较长的项目,所以规划工作显得非常重要。规划工作应该体现实用性和超前性。系统首先要解决实际问题才会有生命力,才能够生存和成长,才能够得到领导和业务部门的支持。同时,数据仓库是一项长期和大型工程,超前性也非常重要。具有超前性系统才会长久,才会更容易体现技术的先进性和业务的预见性。其他属性诸如安全性、可扩展性、灾难恢复等也很重要。对于数据仓库这样的大型项目,统一规划、分步实施应该是一条需要认真贯彻的原则。
第二,在实施过程中,一定要注意并努力“沿途下蛋”。这一条原则是上海证券交易所内部的数据仓库开发团队和决策领导在实施过程中总结出的一条成功策略。只有这样才能够比较容易地在长时间的实施过程中得到领导和业务人员的认可和支持。对于任何一个大型项目,如果长期投入但在过程中看不到任何中间成果,这样的项目就可能引起领导的怀疑。在过程中不断出成果是解决这一问题的有效方法。
第三,需求的提出和分析是实施数据仓库的首要难题。要做好数据仓库,需求是关键。没有一套好的需求,建设一个好的系统只能是一种梦想。但是,需求的提出难度非常大,必须要有一套好的方法和流程。在一套有效的方法的指导下,同时遵照一个好的流程,就容易得到领导支持,得到业务人员的有效参与和技术人员的有力配合,这样就有可能提出一套既实用又具有超前性的需求。但是,这些只是必要条件,并非充分条件。否则,就会陷入目前企业在实施过程中的许多实际困境:技术人员会抱怨业务人员提不出需求,业务人员觉得厂商和技术人员做出来的系统没有实施前宣传的那么好。没有正确的方法指导,业务人员提不出需求很正常。这就犹如要一个从来没有见过也不了解小轿车的人凭空提出一套豪华轿车的功能、设计和性能需求一样。在提需求的过程中,经验、方法和操作流程是关键。
第四,实施的另外一个难点是元数据的管理。元数据管理目前是所有数据仓库项目实施过程总最没有成熟方法和规范的部分之一。元数据的管理难在工具,难在方法。数据仓库涉及的数据源很多,结构自然复杂。要建立一套规范、自动、有效的元数据系统实属不宜。如果在加上对于元数据的重视不够,出问题的几率就相当大了。
第五,数据仓库建设管理工作量大、面广、任务重。数据仓库是一套管理信息系统,它不同于大家熟悉的业务系统,在建设过程方面有许多不同点。业务系统往往只是按照需求实现即可,大部分过程是要写“死”的。而数据仓库对于许多内容的实现要体现的是一个“活”字。这样对于数据仓库建设的管理者的要求就较高。数据仓库的管理者首先必须要有很好的沟通和交流技巧,主要是工程本身牵扯的部门很多,远非一般业务系统可比;其次,管理者要以良好的学习态度来学习技术和业务知识,实施经验和其他管理能力必不可少。
在数据仓库这样一个庞大系统的实施过程中,引入监理机制也非常必要。监理公司或监理者必须要有丰富的数据仓库建设经验,了解数据仓库建设的全过程,在数据仓库建设的各个环节都要有足够的技术和业务专家。监理者应该是建设质量的管理者、建设的监督者和指导者。在建设的过程中,要能够对实施厂商提出建设性的意见,要有团队和协作精神。监理公司的主要职责是保证项目按时、保质完成开发和推广。基本理念是提供有效的监理服务和咨询服务。咨询在先、监理为重是数据仓库监理工作中一个很好的理念。它要求监理厂商除了提供常规的监理工作之外,还要提供实施过程中的咨询服务。监理公司需要秉承中立原则:公正和公平地对待项目开发商,协调企业和开发商的关系;保护企业对数据仓库项目投资、控制质量以及确保项目进度。对于像数据仓库这样的大型系统工程,引入监理机制很有必要。
第六,ETCL(抽取、转换、清洗和加载)过程。ETCL过程的技术难度不大,但是技巧性很高。时间和速度在数据仓库的ETCL过程非常重要。如果技巧和方法不当,时间会为这一环节的重要敌人。每天的后续加载的压力很大,对于银行这样的企业,可以用于加载的时间非常短。如何在较短的时间内完成大量数据的加载将会成为主要挑战。
除了这些以外,模型的设计、应用的设计、推广、培训等等也都非常重要。
对于数据挖掘来讲,实施的难点没有数据仓库那么多。但是,关键在于对于数据发掘算法、方法和应用的理解和掌握。对于我们碰到的每个问题常常有几种不同的算法可以解决。每种算法也都可以用来解决不同的问题。对于每种算法和应用的理解至关重要,需要非常熟悉。数据挖掘的另外一个难点就是对于数据挖掘过程的理解。在数据挖掘课题中,理解算法很重要,工具的使用也很重要,但是对于数据挖掘过程的掌握更为重要。在数据挖掘的过程中,大部分的时间都花在对于问题的理解及数据的收集、处理和整理过程中。关键是思考和寻求解决客户问题的方法和思路。如果这些工作做的好,一般来讲,好的结果是水到渠成的事情。前期工作不到家,结果好也只是运气好,不说明什么。在这种情况下,即使结果好而没有合理的业务知识解释,恐怕企业也未必敢用。数据挖掘的灵魂是一个“活”字,数据挖掘的关键是解决问题的过程。