有感HPC China 2013:大数据是HPC 的另一个蓝海

2013年10月19-31日,中国高性能计算领域盛会HPC China 2013在桂林隆重召开。这次大会上出现频率最高的一个词就是——大数据。无论是从Top100的排行榜来看,还是从大会的演讲报告主题来看,大数据与高性能计算的结合已经是一个无法抵挡的趋势。

大数据是高性能计算应用的另一个蓝海

过去高性能计算在很多人眼里,主要是用于科研计算,而近两年,随着云计算和大数据等应用趋势的发展,高性能计算找到了新的应用空间。正如曙光副总裁邵宗有在接受DOIT记者采访时谈到,大数据是未来HPC应用的蓝海,大数据将对HPC榜单产生更大的影响。

大数据的发展为高性能计算提供了更为广阔的应用空间,而高性能计算的发展也为大数据分析提供了非常有力的工具。无论是传统的科研应用,还是金融、通讯、互联网等高性能计算的新用户,随着数据量越来越大,以及大部分用户对于数据价值挖掘的意识不断加强,一套高效、可靠、弹性扩展的数据处理方法和工具就变得非常必要了。而随着高性能计算系统性能的日益提升,越来越多的用户开始考虑采用高性能计算的集群来进行数据处理和分析。

HPC China2013:大规模可视化数据分析 ,2013HPC大会报道:大数据给仿真科技计算带来挑战。。。。

当前的问题是什么?

数据显示当前只有6%的企业对大数据有较深度的应用。许多企业希望将大数据用起来,带动企业的经营,但不知从哪里着手。它们不惜重金投资大数据信息系统、分析系统,聘请更多的人才,希望能从这个新趋势中获益,不过却无奈地发现,大数据仍然停留在云端,没有带来多少实际收益。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业,却在应用过程中困难重重:大数据无法与业务结合;没有收集、分析海量数据的能力;经营人员缺少应用大数据的动力;数据来源鱼龙混杂难以使用……

这意味着未来大数据挖掘服务和咨询将比计算能力本身更重要。

Hadoop作为补充

数据整合

加速器的应用

缓存共享

应用程序是关键