微软并行数据仓库全球卓越中心总监Russ Cavan借访华之机,向中国市场介绍了微软大数据战略及并行数据仓库一体机2012产品路线图,同时宣布微软并行数据仓库一体机国内首单落户国家审计总署。
2013年,中国将进入十二五规划的第三年,是进一步调整和优化经济结构、促进工业转型升级、实现国家由大到强关键性的一年。从国家经济建设到各行各业的产业升级与转型,各项工作都将进入攻坚阶段。而随着新技术对于传统产业及商业产生的重要影响,特别是云计算、物联网、智慧城市、大数据技术的发展,大数据战略有望成为经济发展的核心及神经中枢。
自云计算和大数据概念被提出后,针对该市场应运而生的解决方案层出不穷,软硬件一体化设备作为大数据解决方案中的一员,扮演着重要的角色。微软并行数据仓库一体机,将多种先进的数据存储与处理技术结合为一体,是微软大数据战略的重要组成部分。
微软为大数据提供可执行的洞察力
微软大数据战略帮助政府与企业应对海量数据的挑战。据IDC报告,全球信息总量每过两年就会增长一倍,而2011年全球产生的数据总量为1.8ZB,相比2010年增长了1ZB,相当于全球历史数据总和。大数据的出现,引发了全球范围内深刻的社会与商业变革。
据Russ Cavan介绍,微软大数据战略致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力,包括之前隐藏在非结构化数据中的洞察力。微软的大数据战略及解决方案包括:
数据管理层,可对所有类型的数据进行搜集和管理,包括结构化、半结构化、非结构化和流数据等。
扩展层,通过数据发现以丰富数据集,与来自于全球的多种类型数据互连,以及通过高级数据分析将数据变成信息以及知识。
洞察力层,通过用户所熟悉的类似Excel、PowerPivot、PowerView这样的工具,为用户提供全面、深入的洞察力,为从领导层到每个员工提供直观易用的决策支持,即实现数据以及信息的消费化。
微软大数据解决方案的主要优势包括:
前端使用大家所熟悉的微软Office Excel, IE, SharePoint等工具,同时可以使用多种设备,包括笔记本,移动终端等,从任何数据中随时获得所需要的信息,以提供决策支持。
随时与全球的数据互连,从而发现隐藏的价值,将内部与公用的数据和服务相结合。
通过支持任何数据的现代数据管理平台,处理任意大小和种类的数据,不仅具有Windows的易用性,同时兼具云的弹性和可扩展性。
为了帮助企业快速部署大数据解决方案,兼容当前最为流行的非结构化数据体系Hadoop,微软在 Microsoft Windows Azure平台上提供了基于云的HDInsight服务,同时在Windows Server上提供了基于私有云的HDInsight Server。微软HDInsight解决方案100%与Apache的Hadoop标准兼容,可帮助企业从任何结构化及非结构化数据中获得业务洞察力。 Windows Azure进一步简化了Hadoop的部署难度,用户可以在10分钟内在云端部署Hadoop集群,并能通过Microsoft System Center实现轻松管理。
面向大数据的现代数据管理平台
基于SQL Server的微软并行数据仓库一体机是微软大数据战略的重要基础,是现代的数据管理平台,可实现对任何大小数据、随时随地的处理,简单且具有弹性。微软并行数据仓库一体机是针对企业数据仓库、高度可扩展的设备,使用 Microsoft SQL Server 中的“并行数据仓库”及其“大规模并行处理”(MPP)体系结构,获得可伸缩的性能和灵活性,并提供功能最为全面的数据仓库解决方案。
基于SQL Server 2008 R2的微软并行数据仓库一体机目前已经发布了四个更新版本,并将于2013年初推出基于SQL Server 2012的新一代并行数据仓库一体机。SQL Server 2012并行数据仓库一体机面向大数据服务设计,在数据处理方面实现了突破:
为大数据而建:SQL Server 2012并行数据仓库提供了全新的PolyBase它是数据处理突破性的技术,实现了传统关系型数据库表与非关系型Hadoop数据表的统一查询。
新一代性能与规模:采用 xVelocity 列存储,查询速度大幅提升10至50倍、并可以满足实时数据仓库需求;采用高密度 Direct Attached Storage,存储容量提升7倍之多;采用更加高效的架构设计,在大幅提升性能的同时,总体成本大幅降低。
最优化的系统价值:通过Windows Server 2012虚拟化技术一系列创新,SQL Server 2012并行数据仓库一体机实现业界每TB更低成本。
由于软硬件一体,并行数据仓库一体机只需要很少的调整和优化,可有助于降低 IT 成本。该设备开箱即用,可以以非常快的速度安装并开始加载数据,在服务器调整和优化上也仅需很少时间,从而显著缩短部署时间、减少工作量和降低成本。此外,还能够非常快地运行大规模查询,企业可以运行更多报表、完成更复杂的分析、处理更大的数据集以及分析更详细的数据。
变革商业、提升生产力
微软并行数据仓库一体机自推出以来,已经被全球多家企业采用,帮助应对大数据的挑战、提升了生产力、降低了IT总体成本。目前,中国首单花落国家审计总署。
据微软高级数据仓库架构师乔怡介绍,现在的审计业务,面临的数据总量已经上升为TB级、甚至PB级,并且数据查询分析的复杂性也在不断提高。同时,审计需求本身为具有随机性和突发性,审计人员需要根据判断进行海量数据的查询、汇总和关联分析,这就需要针对大数据的统一高度和并行访问,并需要多种计算模式和分析方法,同时满足宏观或特定审计目标。与此同时,更加无法忽视“时效性”的要求,审计署的处理效率受到更为严苛的挑战。
如何以更为容易部署的方式建议分布式存储和计算集群,在统一的架构下实现对各种类型和各种规模数据的管理和并行处理,并能够根据需求实现缩放和篇?如何支持TB/PB级数据的高效加载,满足多源异构数据的即席查询、联合查询和复杂关系处理,对大规模审计数据进行快速、深入的分析和挖掘?国家审计总署选择了基于微软SQL Server并行数据仓库一体机的大数据云平台方案,用于解决海量数据大规模并行分析处理、分布式存储及管理问题。
微软并行数据仓库一体机在保持与审计署现在数据平台兼容的前提下,提供对数据进行全方位管理、高性能处理的能力。同时基于上述审计业务的随机性、突发性、分析多样性等特征,微软并行数据仓库一体机平台在数据存储和处理架构上兼具了资源池共享、按需可扩展、高可用保障、统一运维监控等典型云计算平台特性。
微软并行数据仓库全球卓越中心总监Russ Cavan表示,微软并行数据仓库与微软的多种商业智能工具实现紧密集成,例如Excel, Powerpivot, SQL Server Integration Services、Analysis Services 以及 Reporting Services等。微软的大规模数据仓库解决方案,不仅仅为客户提供后台大规模数据存储、管理与处理,同时也为客户的决策支持提供灵活、易用、可视化而且丰富的前端展现,是真正实现数据消费化的大数据解决方案。目前,包括Gartner在内的全球分析师机构,已经把微软列为全球数据仓库的主要领导者之一。
针对2013年及今后中国经济发展,微软并行数据仓库全球卓越中心总监Russ Cavan表示,当前IT已经成为政府和企业不可缺失的组成部分,是政府与企业提高工作效率,实现服务转型的重要柱,IT已经从最初的服务部门,变成了战略部门,微软致力于与中国政府和企业一起,通过大数据、云计算等新兴的技术,实现中国由大到强的战略转型。