大数据挖掘技术的发展趋势及行业机遇

CIO时代网发表于：14年02月21日 13:53 [转载] DOIT.com.cn

分享：

[导读]大数据在移动互联网时代也显得越来越重要，当大家都在探讨互联网思维的时候，到底什么是互联网思维？各家有各家的说法，但是万变不离其宗的是离不开的数据挖掘和分析应用。

大数据在移动互联网时代也显得越来越重要，当大家都在探讨互联网思维的时候，到底什么是互联网思维?各家有各家的说法，但是万变不离其宗的是离不开的数据挖掘和分析应用。2014年2月19日，在第十一期“信息化大讲堂”上联想中国服务总部首席技术顾问刘睿民先生与大家分享了大数据挖掘技术的发展趋势及行业机遇。

联想中国服务总部首席技术顾问刘睿民

近几年大数据非常火爆，今年更是马上火热，但总的来说集成互联网思维大数据的革命才刚刚开始。现在新数据的年增长为60%左右，也逐渐从基础架构、Apps向数据的简化迈进。那么要达到大数据的简化，就要先了解大数据处理的现状、大数据系统统一的整体、大数据的框架及特征。

同时刘睿民先生提到：虚拟化的Hadoop是未来，这就意味着我们要通过虚拟化来统一大数据计算平台，使其实现简单、快速、即需地监控数据集群、允许混合负载、利用虚拟机来提供隔离、通过虚拟宕扑来优化数据处理性能和平台稳定性的目标;可伸缩的扩展性能、依靠高可靠性来保护关键服务，如：Hadoop的Name Node及Job Tracker;资源控制和共享，重用低利用率的内存及CPU;对负载进行优先级控制，在混合环境中优化及限制资源的使用充分利用虚拟化。

紧接着，刘睿民先生为大家讲解了统一的基于分析的云的三个阶段。第一个阶段：统一的系统。预先整合系统，便于管理及使用;第二个阶段：实时的流数据分析。针对导入的数据执行实时的“流式”的分析查询、全速更新即时导入的数据、调度及执行上百个复杂查询、能够进行亿级维表和事实表JOIN,同时无需对维表及事实表进行预处理;第三个阶段：基于内存计算的分析应用部署。实时加载及大规模部署分析应用、分析应用全速响应外部App或传感器、分析应用动态生成及执行上万个复杂查询。