智慧之城:曙光公司2013年大数据创新应用盘点

向上,大数据正在成为智慧城市落地的支点;向下,大数据汇聚的各项创新应用已经创造出巨大的商业价值、经济价值和社会价值。作为高性能计算领导者和云计算领先企业,中国行业大数据的先行者和解决方案提供商,2013年的曙光公司,在“平台一体,智汇应用”的行业大数据战略指引下,通过XData大数据一体机、XData-Hadoop大数据处理软件等自主可控的创新产品,从数据收集、数据存储、数据分析、数据应用等方面构建了完整的大数据生态环境,携手政府、金融、电信、军工、教育开拓实践,在大数据“元年”共享硕果。

某公安部门舆情分析系统:海量存储,实现数据分析智能化

 

图1:曙光XData大数据处理平台

信息社会的不断进步让政府部门越来越依赖数据的分析进行决策,而在大数据“试水”中的国家某安全部门,通过曙光大数据解决方案构建的舆情分析系统,采用社会化行为分析技术实现了大规模群体信息的统计分析、趋势研判。通过XData对海量文本、图片、视音频等数字化内容进行集中存储和智能检索,实现公安业务信息数据的深层次挖掘。另外,利用大数据技术的碰撞比对、频率分析、语义分析、多维融合、深度挖掘等创新特性,改变了传统情报分析中的逻辑推理、综合统计、比较联系、特征解释等相对落后的技术手段,实现了各要素之间的深度关联和智能判断。

某大型信息安全中心监控系统:快速分析,第一时间预警

 

图2:某大型信息安全监控系统

该中心的信息安全监控系统当前运行规模超过600TB,每天负责收集分析数十亿条短信息。这在当前人口大流动,跨省市、跨地区之间的流窜犯罪活跃,恐怖组织活动增多的情况下,发挥了大数据数据分析的速度优势,第一时间预警,成为了提升破案效率和维护国家安全稳定的关键支点。

中国某银行大数据平台:实现PB级跨越,历史数据再获新生

 

图3:某银行的大数据处理平台

之前,该银行运营多年累积下的数据量早已经过PB,但规划的存储量则是500TB,在传统架构下只能直接将数据备份到磁带库,数据的价值无法体现。但若采用传统的数据仓库技术让然无法快速、智能的处理这些数据,并且其投入成本也超出了预算。为此,基于XData-Hadoop构建的大数据处理平台,曙光为该行提供了海量记录快速查询能力,完成了历史数据查询系统的应用落地。在利用XData替代了传统数据仓库架构之后,成功实现了历史数据从TB向PB级的跨越式发展,而其海量数据分析能力更支撑了该银行反洗钱系统的成功应用。

中国银联离线数据分析系统:数据保存时限提升一倍,大数据发挥“毫秒级”查询

 

图4:基于曙光XData大数据一体机的离线数据分析系统

银联之前的关系型数据库存储能力非常有限,只能保存三个月的数据,造成大量历史数据堆积且管理困难。面对刷卡交易量激增,商户评分,持卡用户兴趣分析等新业务需求,银联构建了50台双路x86服务器规模的XData大数据一体机。利用支持海量数据访问的Hbase和分布式文件系统(HDFS)打造了高并发、高可靠的网络传输和存储层,并将数据保存时限提升了一倍。另外,该系统还支撑了350TB原始刷卡信息存储容量、实现了50万每秒的记录稳定导入速度,以及随机单条记录“毫秒级”返回,万级别查询5秒内返回的惊人速度。

河南移动经分与流量运营系统:改善用户体验,实现精准营销

 

图5:基于曙光大数据技术的流量运营分析平台

在以OLTP为核心的传统架构中,河南移动在创新业务推进过程中的技术难题不断出现:系统分散建设,难以实现资源和应用共享;数据分散存储,标准化程度低;大部分业务只对内提供服务,未能有效地进行规模化商业利用。为此,河南移动与曙光公司合作进行的经分系统和流量经营分析工程,采用基于IB网的XData-Hadoop分布式计算平台的方案。该系统实现了Ethernet、Fibre channel、Infiniband 三网融合,最大可能的满足Xdata-Hadoop 集群和数据库处理平台的高速通讯需要。

大数据让河南移动可以根据竞争情况和客户需求,加快实现流量的实时计费和提醒,优化了数据流量资费体系,降低了套餐内外的资费水平差距。而精细化营销能力的全面提升,不断提高了客户的满意度和大幅度降低流量投诉,还为整个移动集团的战略目标落地提供了支撑力。

军工某所热点信息监控系统:“三位一体”,构建大数据生态环

该系统负责数十万个热点的同时监控,借助曙光云平台和大数据产品形成了数据分析、数据存储、数据检索“三位一体”的大数据生态环,并利用XData-Hadoop索引器将Heritrix爬虫器、Solr/Lucence查询器对关键信息进行聚集,实现了安全、个性、高效、智能的查询功能。

同济大学大数据柔性处理平台:教育资源整合,XData-Hadoop构建弹性数据管理

该平台涵盖三个服务分区和一个共享存储中心,即网络信息服务、交通信息分析、医疗数据分析和存储中心。同济大学以数据为中心,利用XData-Hadoop 分析集群和集中存储系统来搭建,消除了资源孤岛,各点按照业务强度均衡互联,同时其可伸缩性能够随着数据膨胀而随需扩展,达到真正柔性计算平台的标准。另外,由于实现了数据网和业务网的分离,进而达到了数据通信和业务通信运行时互不影响的建设目标。

行业应用日渐成熟 智慧之城触手可及

随着中国的行业用户信息化水平不断攀升,人们面对着大量的沉积数据,继续寻找一条挖掘数据价值的捷径,而曙光的行业大数据战略则抓住了这个切口,为以上这些用户的大数据价值挖掘提供了产品和需求的接口。其次,在“棱镜门”阴霾笼罩的2013年,政府、金融等重要民生领域更将采购方向调整到了自主可控的创新产品上,而曙光大数据解决方案凭借对客户需求的深度剖析,和专业、便捷、安全、高效的品牌表现,赢得了众多客户的认可和信赖。

在大数据时代,行业大数据应用已然构建出一张四通八达的智慧网络,并赋予城市建设和管理者拥有大规模数据存储、活性以及解释、运用数据的能力。那么,中国的大数据不仅需要继续支撑智慧的民生,更有责任成为城市的守护者。而曙光的大数据不但帮助用户完成了信息系统架构的演变,更以行业大数据的应用效果作为支撑点,在“智能终端——云——大数据”的新应用格局下,让智慧之城触手可及。