大数据所面临的三大挑战

大数据应用在全球各国发酵之际,伴随而来的问题,就是各国普遍缺乏数据科学家,在国内,大数据的应用虽然才刚刚萌芽,但是要面临的几项重大挑战。

挑战 1 - 数据分析人才不足

因应大数据处理的需求,不论企业决定采用哪一种解决方案,最终需要有数据科学家来运用这些大数据,才能活化大数据的价值,重新建构数据之间的关系,并赋予新的意义,进而转换成企业的竞争武器。

大数据处理环节中,数据科学家是能否点燃大数据价值的关键。然而,数据科学家的养成并不容易,因为数据科学家必须同时具备3种条件,包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。

一般而言,拥有一项专长的人很多,但是,同时拥有3种专长的人,就非常稀少。然而,作为数据科学家就必须有整合运用的能力。否则如果只是熟悉数据分析工具操作,但却不懂企业内的业务运作细节,就无法从既有数据中挖掘出新的数据价值。而若只懂业务却不熟悉数据分析工具,也很难重新架构数据的价值。同样的道理,如果缺乏数据探勘的技巧,最多只能做到OLAP(Online Analytical Processing)的展现。

目前国内的数据分析师,较擅长的是处理已经发生的问题,找出问题源头,并且尽速排除问题,但是,相对缺乏发掘未知问题的能力。根据市场调查机构Gartner的数据,有高达72%的企业认为,大数据的应用价值,在于预测未来。然而,这样的应用需求与国内数据科学家的人才才不相匹配,预计将成为国内发展大数据应用的最大挑战。

数据科学家必须同时具备3种条件,包括深入了解企业内的业务与组织、具备数据探勘等统计应用知识、熟悉数据分析工具操作。数据科学家的工作职缺,从2011年开始急速攀升,成为前10大热门职缺。这项统计是汇集1千多个人力招聘公司的数百万个职缺结果。

挑战 2-当地大数据顾问服务不足

大数据的应用风潮下,新兴的技术与人才也备受瞩目,其中又以Hadoop架构的技术人才最为缺乏,目前不论企业或信息厂商都相当缺乏非结构数据处理的技术人才,因此,即使是概念验证阶段,大多需要依赖国外顾问飞来国内,所花费的时间与成本,都让大数据处理的效益大打折扣。

国内之所以会面临Hadoop人才不足的问题,主要是因为Hadoop的发展源自美国,所以Hadoop相关的技术资源,也都聚集在北美。目前Hadoop的应用,虽然逐渐延伸到亚洲国家,然而相关的技术人才与顾问服务都还在萌芽。

为了解决Hadoop当地顾问服务不足的问题,企业也可以考虑培养自己的Hadoop团队。然而,由于Hadoop的应用在国内才刚刚开始,因此,企业对于是否要培养自己的Hadoop团队,尚言之过早。一方面是因为企业的大数据处理,还没有导入Hadoop的迫切性,另一方面则是对Hadoop的长期发展还在观望当中。

奇美电子信息管理处副总处长李宴昌不讳言地指出,信息产业每隔几年就会出现一个新技术,但未来能否普及却不一定,企业不可能承担这种风险,在这个阶段就决定培养Hadoop技术人才,除非可以确定这种人才的长期需求,否则宁愿先观望再布局。

挑战 3-对数据价值的敏感度不足

大数据的价值,除了解决现在无法解决的问题,还要能发掘原本不知道的问题。业内人士认为,数据分析的前提是,数据保留的完整性与正确性。然而,在国内的企业文化中,长期以来都没有依赖数据来做决策判断的习惯,对于数据的价值也理解不足,甚至是忽略数据的存在,因此,有些企业根本没有保留数据与应用数据的长期规划。

举例来说,在国内部署非常普遍的ERP系统,是所有应用系统中,与企业营运最息息相关的系统,理论上,ERP系统中的数据品质,也就是数据的正确性以及一致性等,应该都是企业内各应用系统中最好的。但实际的情况并非如此,ERP系统的帐务数据,并不能与企业的营运画上等号。

一般而言,企业在导入大数据应用时,如果既有应用系统的数据品质越好,技术面导入的成功机率就越高。而若没有好的数据品质,却要做大数据分析,就要有面对辛苦的准备,因为大数据分析绝对还是必要的。

大数据分析的价值,在于活化数据再利用。信息科技的发展,本来就是为了处理信息,而不是为了提升硬体效能,如果导入大数据的决策单位,是由信息部门主导,很有可能就会专注在系统效能提升层面。如果由执行长等级的决策者领军,相对较易把大数据的应用与业务命脉整合。

根据市场调查机构Ventana所揭露的数据,目前导入大数据的决策者,高达66%是信息部门的中阶主管,由信息高级主管等级来做决策的比例,仅有33%。