其实,大数据技术早在“两会”大放光彩之前,就已成为互联网企业业务创新、各级政府部门瞭望民意的最佳工具。许多企业对大数据应用的关注程度在几年前,就已经得到了具体应用,很多企业也随之设立了首席数据官(CDO)这样的职位,而许多分析机构早就经营起了"数据买卖"。
许多人也许不知道,在使用大数据对此次两会“政府工作报告”热点词汇分析以及“环境治理”、“三公公开”、“互联网金融”等过去一年中的搜索热词加工、解释的背后,一套强大的IT基础设施正在飞速运转。而这套强大的IT基础设施提供方正是曙光公司,其大数据处理平台通过强大的采集、存储、分析和提炼能力,为各大门户网站提供底层数据支撑。
作为为本次大数据看“两会”提供盛宴的“厨师长”,曙光公司大数据首席技术工程师宋怀明博士表示:“从舆情产品服务的角度看,浓缩海量信息、抵抗‘数据爆炸’,已成舆情分析平台最基本的需求。为此,曙光大数据解决方案采用了社会化行为分析技术,通对海量文本、图片、视音频等数字化内容进行集中存储和智能检索,实现互联网热点数据的深层次挖掘,。用户可以利用大数据技术的碰撞比对、频率分析、语义分析、多维融合、深度挖掘等创新特性,改变传统情报分析中的逻辑推理、综合统计、比较联系、特征解释等相对落后的技术手段,进而实现各要素之间的深度关联和智能判断。”
“继模拟仿真被认为是‘人类认识世界的第三只眼’后,大数据分析将成为‘人类感知世界的另一个大脑”,历军表示。
如今,“大数据看两会”的热潮已经延伸到会场。两会期间,多位大数据产学研的人大代表和政协委员从各个方面提出了关于大数据的应用问题,包含制定大数据标准、大数据助力网络安全、建立食品安全风险监测大数据平台、使用大数据分析解决PM2.5问题、利用大数据解决教育资源不平等等问题。而作为中国高性能计算领导者和云计算领先企业,曙光公司已经率先一步,为各大行业用户开辟出了一条摘取大数据果实的捷径。
令普通读者印象深刻的是,今年春节期间,央视新闻和各大媒体都在引用反应春节期间全国人口迁徙状态的数据流量分析系统“百度迁徙”,其背后使用的同样也是大数据分析技术。
据记者了解,腾讯、百度和新华网等机构正在通过曙光公司的大数据平台和高性能计算机,为老百姓解读“大数据”两会,以及为阿里巴巴、360等互联网企业提供类似“百度迁徙”这样的大数据分析系统。目前,曙光大数据一体机XData-Hadoop系统已在金融、电信、政府、互联网、教育等多个行业完成部署与应用,并在社会舆情分析、卫星遥感数据分析、有线电视样本数据运营、新媒体大数据系统、电信流量经分系统、音视频检索和识别、用户行为分析等方面皆取得了令人满意的效果。