Infiniband网络拥塞的解决方案

2012年10月28日,由中国计算机学会主办的 “2012年全国高性能计算学术年会”(HPC China 2012)在湖南省张家界阳光酒店召开。本届盛会围绕着高性能计算技术的研究进展与发展趋势、高性能计算的重大应用等主题展开,促进信息化与工业化的深度融合,为相关领域的学者提供交流合作、发布最前沿科研成果的平台,推动中国高性能计算的发展。

点击观看全国高性能计算机学术年会

在下午的分论坛中,江南计算技术研究所的陈淑平先生为大家演讲了《Infiniband网络中A ll_to_A ll通信性能优化》的报告,详细介绍了All_to_All的操作,Infiniband拥塞,现有算法的性能,以及优化算法。

江南技术研究所陈淑平

陈淑平表示,A ll_to_A ll操作,是一种重要的集合操作,在理想状态下,A ll_to_A ll操作中每个进程的带宽等于网卡的链路宽带。但实际上,各个进程在同时发送数据时会相互竞争通信路径,从而使网络中产生拥塞,导致进程的带宽明显低于链路带宽。

Infinband网络简介

陈淑平介绍说,Infinband中的拥塞问题主要是基于信用的链路传输控制机制以及容易形成拥塞树,导致A ll_to_A ll的性能严重下降。使拥塞避免的方法有维护一个发送窗口,每个进程为每个QP都维护了一个计数器,该计数器记录了未完成请求的个数。设发送窗口大小为window,进程个数为N,则发送窗口中平均每个QP有window/(N-1)个发送请求。

在分论坛的会中,陈淑平还谈到,如果控制每条小熙的发射速率恒为Bandwidth/M,那么每条链路的最大负载都不会超过链路的传输能力,网络中就不会产生拥塞,从而获得最大的带宽利用率。

在大会的最后,陈淑平先生总结到,新算法的原理是根据网络拥塞程度动态调度消息的发送新算法的性能。在发送大消息时,该算法相比现有的算法,带宽利用率可以提高10%以上,最多可以提高20%,在虚拟机环境下,性能优于原有算法。