大数据咨询公司NewVantage Partners在近期公布的报告中指出，尤其是金融服务公司这类大型公司正在快速采用大数据，并且这一速度比预期的要快。这些公司是如何利用大数据做出更明智的业务决策的呢?事实证明，与技术解决方案一样，要想通过大数据获得成功也需要技巧。
NewVantage Partners在去年夏季与来自50多家大型公司的高管(主要是首席数据官、首席信息官、首席技术官、首席分析官、首席信息架构师)、业务主管和高级程序员进行了研讨。在这些大型公司中，多数公司的员工数量都超过了30000人。在NewVantage Partners公司的调查中，有一半的受访者为来自金融服务公司的高管，另外一半的受访者为来自保险、政府机构以及其他行业的公司高管。
NewVantage Partners 创始人兼管理合伙人Paul Barth 称：“大多数公司每年在技术上的花费为10亿美元。他们通常都不会快速做出响应，但是一旦开始响应，他们将会为这些创新投入更多的财力和物力。”
利用大数据做出更明智的决策
这些大型公司看到了大数据的价值并开始将他们的资源投向大数据。Barth称，85%的受访者表示他们正在进行大数据创新。
他称：“75%的受访者每年在大数据上的投入超过了100万美元。25%的受访者每年在大数据上的投入超过了1000万美元。他们恪守将这一技术应用到一个项目或一系列项目的承诺。因为他们非常清楚，如果没有大数据，他们手中的项目将无法进行下去。”
大数据的真正价值在于提升了响应速度
受访者给出了许多他们投资大数据的原因，如降低风险、打造高质量产品和服务等。不过，排在首位的两个主要原因是：根据实际情况更快的做出决策和提升客户体验。当然，这也是他们投资传统商业智能分析的首要原因。Barth称，在进行深入调查时，NewVantage发现这些公司投资大数据的深层原因是希望提升决策或响应速度。
Barth 称：“如果你的响应速度在一个案例中是30分钟，在另一个案例中是30秒，那么这实际上将会改变你的业务流程。它们将让你成为一名效率极高的业务分析师。”
他表示，有了大数据技术，公司在几秒中内就能够回应遇到的问题，而不是花上几天甚至几个月的时间。反过来，这种提升能够让公司回应那些难以进行分析、开发测试和流程学习但又要快速适应市场、让复杂的工作流实现自动化的问题。
不过，要想充分利用响应时间缩短所带来的优势还需要一个严谨的流程。大数据与传统分析解决方案之间的关系应当定义清楚和从属关系明确，因为它们是制订流程的基础。
大数据、分析法与组织调整
报告指出“传统分析法与大数据之间的区别，以及它们在企业内部分别承担的组织责任在以前就已经展开了多次讨论。不过，调查显示传统分析法与大数据正变得越来越错综复杂。它们必须要协同工作才能发挥大数据的预期效果。未来，在IT部门和业务部门之间打破组织界限进行更为紧密的整合将成为公司制订成功的大数据策略的关键一步。”
报告称“数据管理和分析通常由公司中不同的部门负责。”“IT部门通常控制着数据，而分析则由公司中一个特殊的团队或部门负责。这完全违背了大数据的原则。调查显示，这些公司已经认识到进行紧密整合的必要性。65%的受访者认为，大数据是数据管理的主要部分。68%的受访者表示，大数据是高级分析工具的一部分。”
NewVantage总结认为，打破IT与业务部门之间的界限，将传统分析法与大数据进行整合是一次重大飞越，而这一飞越正是实现以大数据促进业务发展这一机构创新的一个早期关键性举措。
报告称“将实时完整的分析功能整合到业务和运营部门中能够让公司对关键的业务问题和挑战做出快速响应，从而为公司建立起竞争优势，帮助公司提升业绩。”
Barth 称：“根据数据和数据质量，我们将它们分为金银铜三个不同的等级。存储在数据仓库中的数据为金质数据。当你查询这些金质数据时，你知道这些数据已经被处理完毕。但是如果获取的数据为原始形式，并且在一周或一个月内才能够提供给我时，情况会是怎么样，如果你将所有的数据都放在一个地方，并且基本上没有对它们进行梳理，情况又会怎么样?在进行充分提炼之前这些数据非常有用。”
与传统的关系型数据库不同，大数据平台允许分析师有选择性地组织、清理和整合数据，忽视那些目前不是分析重点的记录和字段。这样可以摆脱数据仓库，避免将大量的精力放在了数据工程上。NewVantage指出，通过推迟整个数据工程，大数据平台在面向发现的分析过程中提升了响应速度，同时无需对那些无法提供价值的数据进行工程分析。
Barth称，这大数据平台变成了一个，而且是非常重要的一个数据生态圈。虽然这个生态圈是建立在已知的东西上面，但是这个生态圈的设计目的是不断从客户、市场、产品和风险中寻找新的洞察力。换句话说，就是通过“已经的”、健康的持续改良模式中寻找“新”的东西。
创建一个大数据生态圈
我们可以这样理解：无论是来自大数据还是传统分析法，重要的是提供了一个有价值的答案。Barth称，答案的价值在于其准确性和速度。要想迅速获得准确的答案，重要的是问对问题。
Barth 称：“大数据的技巧是与发现和原因结合起来。当你正在探寻你完全不知道的东西时，分析中的一个阶段是探索与发现。在这当中你能够进行一些假设，然后建模与开发应用。在我看来，在理解了基础的分析法和问题的相关性后，传统的商业智能实际上能够继续派上用场。在你处于还不理解它们的阶段，即发现阶段中，大数据非常有用。”
NewVantage指出在回答复杂的商业问题时存在七个步骤：
搞清楚问题和所需答案的类型;创建商业案例
确定所需数据和分析方法
数据来源
梳理、标准化与整合数据
分析数据
验证结果
呈现或运用答案;评估结果
NewVantage称，公司通常将80%以上的精力花在了第三步和第四步上。但是大数据解决方案提供了完成这些步骤的新方法。
首先，由于大数据平台成本相对较低且容量大，公司能够加载来自源系统的所有数据，而不是针对手边的问题有选择地选取特定数据。
NewVantage 称：“尽管这看起来非常浪费时间，但是这消除了两个重要的延迟：为选取所需数据编写程序，在出现新的问题以及需要新数据时多次往返于源系统。创建传统的数据集市和数据仓库异常复杂且成本高昂。开源解决方案的广阔性加上灵活可扩展的网格系统共同创建了一个环境。这个环境不仅能够促进降低成本，同时也为大幅降低查询次数提供了可能性。”
例如，一家大型金融服务公司希望通过多种渠道对客户进行分析以搞清楚促进销售的要素和导致消耗的原因。为了实现这一目标，公司需要综合六个月的阶段性数据和其它渠道的数据。公司首先会尝试通过传统关系型数据库提取数万行的SQL代码。不过，公司很快就发现到他们只能访问六天的数据，而不是六个月的数据。在意识到这一努力需要花费数周时间后，公司会放弃这一尝试。
“在大数据环境中，他们用不了100行代码就可以编写和运行相关程序。在处理数百太的阶段数据时，运行时间不会超过24小时。他们只是想知道他们的客户在他们自己的渠道中正在做什么。这实际上为他们的银行运行方式添加了可视性。”
但是关键是后继步骤。一旦你明白你所看到的东西，你就能够开发出一个可以解释它们的模型以及找出评估执行力的指标。这时就需要传统的商业智能了。
NewVantage 称：“‘新的’和‘已知的’这两个概念并非是相互孤立的。它们是一个相互联系相互促进的共生系统。‘新’分析需要快速访问所有能够展示当前业务实情的‘已知’数据。同时还必须要有一个能够以新洞察力、数据和模型推动‘已知’东西继续发展的严谨方法。如果没有这种联系，那么系统将变得杂乱或零散。”
此外，该公司还指出“Hadoop、Cloudera、数据库工具、加速器以及自觉和遗传算法等新兴技术和方法能够大幅提升响应速度。”
