高性能计算与大数据应用危机的应对方案

一年一度的英特尔高性能计算研讨会第六届会议于7月5日至7月8日在南京举行。自2007年首届至今,英特尔(中国)已经成功举办了五届英特尔高性能计算研讨会。该研讨会不仅已经成为英特尔的一项传统会议,而且在中国能源领域成为高性能计算需求和发展的风向标。在本次大会上,邀请到了中国石油东方地球物理公司研究院处理中心总工程师赖能和,我们在会后也对赖总进行了专访,请他谈谈高性能计算和大数据存储的关系。

高性能计算与大数据应用危机的应对方案

中国石油东方地球物理公司研究院处理中心总工程师赖能和

赖能和首先表示,当今的高性能计算遇到了诸多的问题,如多处理器协同工作,CPU+GPU 模式的能耗管理,但是最重要的还在于大数据应用中遇到的存储瓶颈和数据安全问题。他谈到,当今大数据的环境下,高性能计算动辄几十TB甚至上百TB的数据,如何保存及备份都遇到了非常棘手的问题。赖总认为——计算机时代实际上已经进入了存储的时代。以往,存储设备还只是作为服务器的辅助产品、辅助设备而出现的,比如服务器本身会有存储的磁盘,而外接存储只是用来存储数据。但是今天,存储设备的投资占了IT投资的一半以上。就中国石油东方地球物理公司研究院来说,每天增加的数据量都需要以TB级别来衡量。海量的存储、海量的数据怎么管理?这其中关键的有两个问题:一是性能能不能提高上去,二是怎么管理。就自身经验来说,过去一年处理中心大量采用了并行文件系统,以取代原来的DASS架构,解决了带宽和性能的问题。如今更多的时候还是使用NAS存储,配以SAN作为辅助。而在管理方面,数字监控是必不可少的,同时也需要日常的备份来保证数据安全。

谈到当下先进的内存存储技术(主要是甲骨文的解决方案,编者注),赖能和表示,从技术的角度来说用海量内存来做存储在性能上没有问题,但在实际上还是需要考虑成本,因为内存的成本相比磁盘来说要有很大很大的提升。另外,虽然目前已经看到了大数据应用的趋势,但是大数据还并不是非常普遍,几十TB的数据在一年内可能只有2-3次会应用到,因此更多的时候还是需要分布式架构来解决。比如中国石油东方地球物理公司研究院正在专门搭建一套高密度、海量数据的数据处理系统。这套系统完全采用当前最先进的至强E5-2600系列处理器,搭载128GB或者256Gb的内存及超大容量的存储系统(5TB左右),网络方面会采用万兆网络,以提供强大的性能和良好的稳定性。

高性能计算与大数据应用危机的应对方案

英特尔(中国)有限公司企业解决方案部石油天然气行业资深企业客户经理杭晓东先生

除了至强E5-2600系列处理器,赖总也表示中国石油东方地球物理公司研究院正在参与英特尔融核处理器的测试工作。据他透露,目前融核处理器已经部署在数据中心中,通过与GPU协同工作的方式提供高性能应用。英特尔方面也表示,双方合作的项目主要用于Geo east的迁移和测试工作,而且也取得了一定的进展。但具体的效果目前还不便透露,要等到第四季度融核处理器正式发布。

谈到英特尔对于数字化油田项目的支持,包括油藏模拟油田的IT应用(下游的应用)在内,英特尔也已经提供了关于计算环境的整体解决方案,包括开放的数据中心、客户端、移动计算的能力,搭建了非常广泛的应用平台。这其中,针对油藏模拟,英特尔提供了多路服务器的解决方案。它主要是根据油藏模拟的应用需求,需要大内存、高带宽。在其他应用领域,从数据中心到网络互联、到客户端,英特尔都有相应的解决方案。英特尔也在致力于开放数据中心和广大业界同仁的探讨。