12月8日-10日,由中国计算机学会(CCF)主办、CCF大数据专家委员会承办、中国科学院计算所等单位协办的2016中国大数据技术大会(BDTC 2016)如期在北京开幕。国内领先的大数据技术综合服务商曙光公司在大会上举办专题分论坛,并重磅发布其最新的大数据技术解决方案–曙光方舟大数据融合分析平台。
曙光方舟大数据融合分析平台发布仪式
大数据融合分析“一站式”平台
大数据越来越凸显的巨量、类型多样化、价值密度低、处理效率差等特点,正给现今的大数据技术提出越来越严峻的考验。
从大数据的视角来看,全球在2010年刚刚进入ZB时代。而据IDC预计,到2020年,全球就将拥有40ZB的数据量,而且如此规模之下,将是结构化数据、半结构化数据和非结构化数据并存。要从海量的大数据中攫取数据价值,无异于沙里淘金。
“行业用户要快速响应大数据的时代挑战、提高大数据处理效率,一款涵盖大数据全生态系统的标准化大数据工具必不可少。”曙光公司总裁助理王海荣提出。当前各行业在从GB过渡到PB级数据分析过程中会遇到各种运维管理问题,“方舟大数据融合分析平台”就瞄准了这一“痛点”,致力于提供用户大数据融合、分析的“一站式”解决方案。
“曙光方舟提供从数据汇聚、数据管理、数据标准化管控到数据建模分析、数据挖掘、数据可视化的整套支持,可有效解决各行业从GB到PB级数据分析方面遇到的各种运维管理问题。”曙光公司大数据研发经理郭庆介绍说。该系统还通过用户友好的管理界面,向用户提供数据同步、集群管理、任务调度、监控及预警等多方面的一站式支持。简而言之,方舟大数据融合分析平台是一整套支持从数据汇集到数据分析、分析建模的全生态系统。
数据和业务的融合“利器”
“通过一体化大数据资源的提供,大数据分析应用的灵活度将大幅增加。”郭庆说。在这个生态系统下,用户无需更换平台即可进行数据的融合打通、质量管理、分析建模、数据共享、全文检索到基于可视化进行分析应用的快速创建。
此外,方舟大数据融合分析平台还打造了“数据集市”和“应用集市”的理念,实现将各业务系统数据、汇聚的数据、经过清洗建模的数据及创建的可视化应用推送至统一对外的“集市”中,实现数据和应用的全行业共享。
据介绍,方舟大数据融合分析平台特别适于为实现行业数据汇聚整合、构建行业数据共享生态、实现数据挖掘结果可视化、完善数据管理体系的公安、医疗、军工、电力、教育、通信等政务、军工、国企行业。例如,目前已部署曙光方舟的徐州公安系统,已能良好应对此前数据不集中、业务系统间信息孤立、数据标准不统一、海量数据运算效率低下、海量数据关联检索等问题,案件响应与办理效率大为提升。
“方舟平台还可通过将数据、建模工具及可视化模板对基层业务人员开放的方式,促进数据的汇聚及数据建模的热情,真正使数据和业务融合,真正促进行业大数据发展。”郭庆说。
稳步推进的曙光大数据战略
近年来,人们真切地感受到了大数据时代的来临。一方面,海量的数据规模越来越快速地流转;另一方面,大数据正在引起一系列的社会变革和挑战。
“多种类型数据的融合和对数据价值的最大化挖掘,将大规模地提升生产效率,不断影响和改变人们的生活方式。”王海荣说:“当数据汇聚起来、融合以后,它的价值会加倍提升,而且对大数据善加利用能使我们做出更加科学的决策。”基于这一共识,曙光公司长期致力于大数据的汇聚融合、生态建设,曙光方舟大数据融合分析平台应运而生。
作为曙光公司大数据战略的一个重要节点,方舟的出现将有力促进曙光“四类大数据”业务的推进。
4月,曙光公司发布“数据中国加速计划”,提出重点布局政府大数据、科学大数据、安全大数据和工业大数据四类大数据业务。今年曙光大数据战略得到稳步推进:9月在国家网络安全宣传周推出“安全大数据”,10月在全国高性能计算学术年会上发布“科学大数据引擎”,11月世界互联网大会上,曙光政务服务大数据平台入围“全球领先科技成果”评选。
而此次发布的曙光方舟大数据融合分析平台,在发布前就已有多个客户进行应用,如江苏省通信管理局、徐州公安、陆军指挥学院、镇江国税局等。“我们将进一步推进曙光方舟在更多城市和行业的部署,以建立大数据汇聚、融合、共享到实现智慧城市的完整价值链。”王海荣说。