智慧之城：曙光公司2013年大数据创新应用盘点

向上，大数据正在成为智慧城市落地的支点;向下，大数据汇聚的各项创新应用已经创造出巨大的商业价值、经济价值和社会价值。作为高性能计算领导者和云计算领先企业，中国行业大数据的先行者和解决方案提供商，2013年的曙光公司，在“平台一体，智汇应用”的行业大数据战略指引下，通过XData大数据一体机、XData-Hadoop大数据处理软件等自主可控的创新产品，从数据收集、数据存储、数据分析、数据应用等方面构建了完整的大数据生态环境，携手政府、金融、电信、军工、教育开拓实践，在大数据“元年”共享硕果。

某公安部门舆情分析系统：海量存储，实现数据分析智能化

图1：曙光XData大数据处理平台

信息社会的不断进步让政府部门越来越依赖数据的分析进行决策，而在大数据“试水”中的国家某安全部门，通过曙光大数据解决方案构建的舆情分析系统，采用社会化行为分析技术实现了大规模群体信息的统计分析、趋势研判。通过XData对海量文本、图片、视音频等数字化内容进行集中存储和智能检索，实现公安业务信息数据的深层次挖掘。另外，利用大数据技术的碰撞比对、频率分析、语义分析、多维融合、深度挖掘等创新特性，改变了传统情报分析中的逻辑推理、综合统计、比较联系、特征解释等相对落后的技术手段，实现了各要素之间的深度关联和智能判断。

某大型信息安全中心监控系统：快速分析，第一时间预警

图2：某大型信息安全监控系统

该中心的信息安全监控系统当前运行规模超过600TB，每天负责收集分析数十亿条短信息。这在当前人口大流动，跨省市、跨地区之间的流窜犯罪活跃，恐怖组织活动增多的情况下，发挥了大数据数据分析的速度优势，第一时间预警，成为了提升破案效率和维护国家安全稳定的关键支点。

中国某银行大数据平台：实现PB级跨越，历史数据再获新生

图3：某银行的大数据处理平台

之前，该银行运营多年累积下的数据量早已经过PB，但规划的存储量则是500TB，在传统架构下只能直接将数据备份到磁带库，数据的价值无法体现。但若采用传统的数据仓库技术让然无法快速、智能的处理这些数据，并且其投入成本也超出了预算。为此，基于XData-Hadoop构建的大数据处理平台，曙光为该行提供了海量记录快速查询能力，完成了历史数据查询系统的应用落地。在利用XData替代了传统数据仓库架构之后，成功实现了历史数据从TB向PB级的跨越式发展，而其海量数据分析能力更支撑了该银行反洗钱系统的成功应用。

中国银联离线数据分析系统：数据保存时限提升一倍，大数据发挥“毫秒级”查询

图4：基于曙光XData大数据一体机的离线数据分析系统

银联之前的关系型数据库存储能力非常有限，只能保存三个月的数据，造成大量历史数据堆积且管理困难。面对刷卡交易量激增，商户评分，持卡用户兴趣分析等新业务需求，银联构建了50台双路x86服务器规模的XData大数据一体机。利用支持海量数据访问的Hbase和分布式文件系统(HDFS)打造了高并发、高可靠的网络传输和存储层，并将数据保存时限提升了一倍。另外，该系统还支撑了350TB原始刷卡信息存储容量、实现了50万每秒的记录稳定导入速度，以及随机单条记录“毫秒级”返回，万级别查询5秒内返回的惊人速度。

河南移动经分与流量运营系统：改善用户体验，实现精准营销

图5：基于曙光大数据技术的流量运营分析平台

在以OLTP为核心的传统架构中，河南移动在创新业务推进过程中的技术难题不断出现：系统分散建设，难以实现资源和应用共享;数据分散存储，标准化程度低;大部分业务只对内提供服务，未能有效地进行规模化商业利用。为此，河南移动与曙光公司合作进行的经分系统和流量经营分析工程，采用基于IB网的XData-Hadoop分布式计算平台的方案。该系统实现了Ethernet、Fibre channel、Infiniband 三网融合，最大可能的满足Xdata-Hadoop 集群和数据库处理平台的高速通讯需要。

大数据让河南移动可以根据竞争情况和客户需求，加快实现流量的实时计费和提醒，优化了数据流量资费体系，降低了套餐内外的资费水平差距。而精细化营销能力的全面提升，不断提高了客户的满意度和大幅度降低流量投诉，还为整个移动集团的战略目标落地提供了支撑力。

军工某所热点信息监控系统：“三位一体”，构建大数据生态环

该系统负责数十万个热点的同时监控，借助曙光云平台和大数据产品形成了数据分析、数据存储、数据检索“三位一体”的大数据生态环，并利用XData-Hadoop索引器将Heritrix爬虫器、Solr/Lucence查询器对关键信息进行聚集，实现了安全、个性、高效、智能的查询功能。

同济大学大数据柔性处理平台：教育资源整合，XData-Hadoop构建弹性数据管理

该平台涵盖三个服务分区和一个共享存储中心，即网络信息服务、交通信息分析、医疗数据分析和存储中心。同济大学以数据为中心，利用XData-Hadoop 分析集群和集中存储系统来搭建，消除了资源孤岛，各点按照业务强度均衡互联，同时其可伸缩性能够随着数据膨胀而随需扩展，达到真正柔性计算平台的标准。另外，由于实现了数据网和业务网的分离，进而达到了数据通信和业务通信运行时互不影响的建设目标。

行业应用日渐成熟 智慧之城触手可及

随着中国的行业用户信息化水平不断攀升，人们面对着大量的沉积数据，继续寻找一条挖掘数据价值的捷径，而曙光的行业大数据战略则抓住了这个切口，为以上这些用户的大数据价值挖掘提供了产品和需求的接口。其次，在“棱镜门”阴霾笼罩的2013年，政府、金融等重要民生领域更将采购方向调整到了自主可控的创新产品上，而曙光大数据解决方案凭借对客户需求的深度剖析，和专业、便捷、安全、高效的品牌表现，赢得了众多客户的认可和信赖。

在大数据时代，行业大数据应用已然构建出一张四通八达的智慧网络，并赋予城市建设和管理者拥有大规模数据存储、活性以及解释、运用数据的能力。那么，中国的大数据不仅需要继续支撑智慧的民生，更有责任成为城市的守护者。而曙光的大数据不但帮助用户完成了信息系统架构的演变，更以行业大数据的应用效果作为支撑点，在“智能终端——云——大数据”的新应用格局下，让智慧之城触手可及。