HPC:分布式环境中的海量数据传输

2012年10月29日-31日,由中国计算机学会主办的 “2012年全国高性能计算学术年会”(HPC China 2012)在湖南省张家界阳光酒店召开。本届盛会围绕着高性能计算技术的研究进展与发展趋势、高性能计算的重大应用等主题展开,促进信息化与工业化的深度融合,为相关领域的学者提供交流合作、发布最前沿科研成果的平台,推动中国高性能计算的发展。

全国高性能计算学术年会

近年来,生物工程、高能物理、天气预报、地址研究等数据秘籍应用逐渐发展成为高性能计算领域典型应用,这类应用通常需要大量的计算和存储资源,数据也分布存储ZAU不同的集群中,需要多个夸局域网或管理域的协同工作。

并行处理中,如何在多集群间快速传输大文件,成为研究的热点。并行处理中的文件传输,是一种多源到多目的得传输问题,当前的研究重点都是如何提高传输的并行度,缩短传输时间。

吉林大学的魏晓辉针对上述问题,提出了一个支持多集群数据并行的按需文件传输算法OFT,首先OFT利用集群内部快速共享的特点,实现目的端的并行接受与组装。本文将目的节点成为同一集群的传输请求合并成一个请求,将该请求分配给集群中的多个节点,分散传输负载。

使用多跳路径分割优化传输路径时,对于单个源目的对,选出一条最优路径,最优路径的跳数加上一个可调节范围值作为所有路径跳数的上线,在实现源目的对连通的基础上获得路径分割带来的性能改善。

在报告中,魏晓辉说到,对于多源传输方法进行适度的扩展,主要分为几步分,第一步,合并请求集合R,将在同一集群请求同一文件的请求合并为该集群请求某文件A,避免集群内部与外部网络的多次传输。

第二步,对合并后的A扩展目的端,此时集群中存在的外部链接的节点都可作为目的节点,第三步,为A查找路径。对于每个源目的对,使用多跳路径分割和多重路径的方法查找出多跳路径,选取传输性能较好的路径组合。

第四步,当A间竞争物理链路,存在带宽冲突时,根据每个A传输文件的大小,按比例为其分配带宽,是的多个请求的传输时间尽量相同,降低耗时最常请求的传输时间,从而获得整体传输时间最小。