迎接大数据新时代:IT部门五大预备策略

大数据被喻为未来关键的战略性业务资产。这意味着在不久的将来,其他部门的员工也会想知道IT部门对大数据的策略。

该怎么跟他们解释?可以肯定的是,处理大量数据对于大多数IT部门来说并不是新鲜事,但是分析家表示,大数据不同于数据仓库、数据挖掘和商业智能分析。

数据正以前所未有的速度和可变性累积起来,并且与过去的数据不同,大多数数据都是非结构化数据和原始数据。博客、社交网络、机器传感器和地理位置工具都在产生大量非结构化数据。

“我们产生了大量数据,并且我们一直在收集数据,但这非常有限,没有人真正知道如何处理这些数据,”Computer Sciences公司的Paul Gustafson表示。

行业观察家称,IT站在了这场数据革命的最前线。

Catalina Marketing公司管理着2.5PB客户忠诚度数据库,包括来自最大零售连锁店收集的超过1.9亿家美国杂货店的数据。这些数据用来针对那些使用杂货店信用卡的美国消费者定制营销策略,根据消费者的消费记录来发放优惠劵。为了将企业引领到实时可预测情报时代,Catalina Marketing公司首席信息官Eric Willams和其他行业观察家表示,技术经理必须发展自己的企业信息化管理架构和文化,以支持对大数据存储的高级分析。

Gartner公司的分析师Mark Beyer表示,精明的IT领导人应该开始做好准备以迎战大数据,而不是坐以待毙。

以下是IT团队需要做的五件事情为迎接大数据新时代做好准备。

盘点你的数据

几乎每个企业都要面对源源不断的非结构化数据,来自社交网络或者来自监视工厂车间的传感器。但是企业在产生这么大量的数据,并不意味着存在保存每一个字节的业务需要。

Constellation Research分析师Neil Raden指出:“在刚开始面对大数据时,人们会感觉需要了解所有来自网络日志或传感器的数据。”

部分原因可能来自于急切地推广企业计算领域下一件大事的供应商和顾问,Raden表示:“那些致力于大数据领域研究的人肯定会大肆推广。”

聪明的IT经历不会试图处理所有数据,而是会弄清楚哪些数据与企业相关,哪些不相关。

Raden表示,第一步应该是对数据进行盘点,看看哪些数据是内部创建的数据,哪些是外部数据资源,这样做将帮助IT部门更好地了解数据情况,并增添对业务的洞察力。

在确定数据范围的同时,IT应该进行有针对性很强的项目以用来展示结果,而不是大数据项目,“你不需要花几百万美元来启动一个项目来看看它是否值得投资,”Raden表示。

让业务需求说话

很多最初的大数据项目是在IT以外的领域开始的,例如,营销部门一直利用媒体流来更好地了解客户需求和购买趋势。

从业务方面来看,特定领域的专家可能会看到大数据赚钱的机会,但IT需要负责数据共享和数据联合概念—-大数据战略的重要组成部分。

PricewaterhouseCoopers公司主要信息管理行业分析师Dave Patton表示:“如果大数据战略没有与业务目标看齐的话,这很难成功。”

Catalina Marketing公司在制定大数据战略时,Williams请来了业务经理以及财务规划和分析(FPA)团队来共同商讨信息架构投资的商业方案。

业务视角能够判断新项目能否带来价值,例如根据购物车中的产品来确定采购项目等,而FPA团队能够将提高生产力或者增加销量等说法进行数字量化。

重新评估基础设施

Gartner公司的Beyer和其他专家认为,大数据战略将需要对服务器和存储架构以及信息管理架构方面进行重大调整,IT经理需要准备扩大他们的系统以迎接不断扩大的结构化和非结构化数据存储。

IT团队需要找出最好的方法,使系统具有可扩展性,并制定路线图将所有与大数据战略相关的不同系统整合在一起。

“现在,大多数企业都有不同的孤岛系统,用于不同目的,例如客户管理、营销等,”IBM公司大数据产品副总裁Anjul Bhambhri表示,“首席信息官需要制定一个战略将这些分散的孤岛系统整合起来,建立一个中央系统。”

熟悉相关技术

大数据领域让我们认识了一长串新的术语,以及一些首席信息官们可能永远没有听过的技术。其中,开源工具吸引着大多数人的注目,像Hadoop、 MapReduce和NoSQL这些技术就正在帮助Web巨头(谷歌和Facebook等)处理其大数据存储。很多这些技术仍然相当不成熟,并且需要操作人员具备特定技能。大数据领域相关的其他重要技术包括数据库内分析、柱状数据库和数据库仓库设备。

IT管理人员及其工作人员需要了解这些新工具以确保他们能够做出正确的大数据决策。

让员工做好准备

不管企业是需要Hadoop专家还是数据科学家,大多数IT企业最缺的是必要的技术人才来进行下一步大数据策略。分析能力也许是最关键的,这也是大多数IT人员存在最大差距的地方。

McKinsey公司预计单在美国,到2018年,将需要14万到19万统计方法和数据分析技术方面的专家。

此外,McKinsey公司预计在业务或技术领域将需要150万经过正规预测分析和统计培训的数据经理。

对于一些公司,尤其是那些在人口较少地区的公司而言,人员将会是大数据策略最具挑战性的方面。True Textiles公司首席信息官Rick Cowan表示:“大数据领域绝对需要不同的心态和不同的技能。”

“作为中等规模的企业,让工作人员能够顺应不断变化的环境是一个挑战,”Cowan表示,为了满足这个需求,他已经开始重新培训编程人员和数据库分析师,以让他们加强分析能力。

Gartner公司Beyer表示,为了在这个全新的新领域脱颖而出,IT部门负责人也需要对他们自己进行一些调整。虽然过去最好的技术领袖都是一半的信息管理员和一半的基础设施工程师,未来的IT管理人员将是数据科学家和业务流程工程师的结合体。

“首席信息官一直以来都是根据业务部门特定的指示来管理基础设施,而不是发现机会,然后推动信息的创新使用,”他表示,“这是需要发生转变的地方。”