HPC China 2012:高性能存储打破HPC I/O瓶颈

2012年10月29日-31日,由中国计算机学会主办的 “2012年全国高性能计算学术年会”(HPC China 2012)在湖南省张家界阳光酒店召开。本届盛会围绕着高性能计算技术的研究进展与发展趋势、高性能计算的重大应用等主题展开,促进信息化与工业化的深度融合,为相关领域的学者提供交流合作、发布最前沿科研成果的平台,推动中国高性能计算的发展。

点击查看大会直播专题

31日,HPC China 2012大会第三天上午主会场,Violin Memory公司技术工程师Tony Tian发表了主题为“用violin Memory高性能存储打破HPC的I/O瓶颈”的演讲。

【图】Violin Memory公司技术工程师Tony Tian

Violin Memory 公司 2005年成立,2009年开始推出产品,最近刚刚登陆中国市场。东芝、SAP、Junipor、HP、Cisco、VMware等都是Violin Memory战略合作伙伴。根据市场调查,前500家做高性能计算的厂商,只有26%的厂商有更快FLPOS需求,剩下74%的是有后端瓶颈的问题。因此,在加快前端的时候,一定要考虑到后端的瓶颈问题。

Tony Tian 强调,Violin Memory不是SSD,SSD是一个临时做补丁的办法来解决问题,SSD基本上还是SAS的接口,但这种接口对于高性能计算来说是一种瓶颈,我们利用做磁盘阵列的方式,利用新的材料来做阵列,不仅仅有DRAM的性能,而且成本低很多。

Tony Tian谈道,大家可能听说过高性能计算数据库的分析,比如SAP HANA等,对系统存储的要求很高,这是传统的磁盘阵列没有办法解决的。Violin Memory建议用户可以重新考虑是否需要这么多的DRAM,如果以很快的体积、最低的延迟,可以帮助用户结成成本和空间。

【图】Violin Memory系统构建块

Violin Memory技术最大优点是一个高密集的存储系统,建立在Flash的基础上,很低的延迟,最低的电损耗来实现。材料方面有两种,一种是SLC,具有高性能,另一个是MLC,这是一个多层的存储,主要是针对大容量,延迟比SLC稍高。

普通的SSD在写的时候,物理性能就会显现出来,区别到底在哪里?一般的SSD或者Flash写入的时候有一个“跌落式”现象,如下图所示。而Violin提供了一个操作系统,在Chip基础上提供了一个控制器,用自己的算法把擦写平均化,延长了每块芯片的擦写寿命。

【图】抗“write cliff”性能跌落性写入

Violin Memory包括3000系列和6000系列,并且Violin Memory支持工业标准,也支持10GB以太网和infiniband,也有直连的方式,直接用PCI-e的方法连接。

【图】Violin Memory产品家族

【图】Oracle性能测试数据

【图】MS SQL性能测试数据

【图】HPC部署实例,上图中使用的是infiniband,下方是Violin的设备

大数据的检索中,workload是一个随机性的检索,唯一的办法就是希望硬件能够支持随机检索,因为做软件的时候无法预测下一个要拿的数据在哪。

【图】与VMWARE合作的架构,解决虚拟机启动的启动风暴