去年11月13日在美国佛罗里达Tampa召开的一年两次的巨型计算机博览会(SC06)上公布的世界前500名巨型机的排名中用于服务器互联的公开标准协议Infiniband的占有率首次超过了私有协议Myrinet,而在所有使用了Infiniband的巨型机中Voltaire又以绝对优势占了2/3。另外到今年六月为止的世界前500名巨型计算机排名中占有率一直持续上涨的千兆以太网也首次下跌18%。至此经过3年多的较量,在高性能计算(HPC)领域服务器互联网络的首选协议已经明确为Infiniband。在此想就Infiniband的现状和发展趋势向各位读者做一下介绍。
Infiniband的特点:
Infiniband协议的主要特点是高带宽(现有产品的带宽4xDDR 20Gbps,12x DDR 60Gbps, 4xSDR 10Gbps, 12xSDR 30Gbps、预计两年后问世的QDR技术将会达到4xQDR 40Gbps,12x QDR 120Gbps)、低时延(交换机延时140ns、应用程序延时3μs、一年后的新的网卡技术将使应用程序延时降低到1μs水平)、系统扩展性好(可轻松实现完全无拥塞的数万端设备的Infiniband网络)。另外Infiniband标准支持RDMA(Remote Direct Memory Access),使得在使用Infiniband构筑服务器、存储器网络时比万兆以太网以及Fibre Channel具有更高的性能、效率和灵活性。
Infiniband与RDMA:
Infiniband发展的初衷是把服务器中的总线给网络化。所以Infiniband除了具有很强的网络性能以外还直接继承了总线的高带宽和低时延。大家熟知的在总线技术中采用的DMA(Direct Memory Access)技术在Infiniband中以RDMA(Remote Direct Memory Access)的形式得到了继承。这也使Infiniband在与CPU、内存及存储设备的交流方面天然地优于万兆以太网以及Fibre Channel。可以想象在用Infiniband构筑的服务器和存储器网络中任意一个服务器上的CPU可以轻松地通过RDMA去高速搬动其他服务器中的内存或存储器中的数据块,而这是Fibre Channel和万兆以太网所不可能做到的。
Infiniband与其他协议的关系:
作为总线的网络化,Infiniband有责任将其他进入服务器的协议在Infiniband的层面上整合并送入服务器。基于这个目的,今天Volatire已经开发了IP到Infiniband的路由器以及Fibre Channel到Infiniband的路由器。这样一来客观上就使得目前几乎所有的网络协议都可以通过Infiniband网络整合到服务器中去。这包括Fibre Channel, IP/GbE, NAS, iSCSI等等。另外2007年下半年Voltaire将推出万兆以太网到Infiniband的路由器。这里有一个插曲:万兆以太网在其开发过程中考虑过多种线缆形式。最后发现只有Infiniband的线缆和光纤可以满足其要求。最后万兆以太网开发阵营直接采用了Infiniband线缆作为其物理连接层。
Infiniband在存储中的地位:
今天的Infiniband可以简单地整合Fibre Channel SAN、NAS以及iSCSI进入服务器。事实上除了作为网络化总线把其他存储协议整合进服务器之外,Infiniband可以发挥更大的作用。存储是内存的延伸,具有RDMA功能的Infiniband应该成为存储的主流协议。比较一下Infiniband和Fibre Channel我们可以看到Infiniband的性能是Fibre Channel的5倍,Infiniband交换机的延迟是Fibre Channel交换机的1/10。另外在构筑连接所有服务器和存储器的高速网络时使用Infiniband Fabric可以省去Fiber Channel Fabric,从而给客户带来巨大的成本节省。
今天在使用Infiniband作为存储协议方面已经有了很大的进展。作为iSCSI RDMA的存储协议iSER已被IETF标准化。
不同于Fibre Channel,Infiniband在存储领域中可以直接支持SAN和NAS。存储系统已不能满足于传统的Fibre Channel SAN所提供的服务器与裸存储的网络连接架构。Fibre Channel SAN加千兆以太网加NFS的架构已经严重限制了系统的性能。在这种情况下应运而生的则是由在Infiniband fabric连接起来的服务器和iSER Infiniband存储的基础架构之上的并行文件系统(诸如HP的SFS、IBM的GPFS等等)。在未来的服务器、存储器网络的典型结构将会是由Infiniband将服务器和Infiniband存储器直接连接起来,所有的IP数据网络将会通过万兆以太网到Infiniband的路由器直接进入Infiniband Fabric。
在存储厂商方面Sun, SGI, LIS LOGIC,飞康软件等公司都已推出自己的Infiniband存储产品。在中国新禾科技公司也推出了他们的Infiniband存储系统。
从价格的角度,今天的Infiniband是万兆以太网的几分之一。Inifiniabnd有比FibreChannel高5倍的性能,在价格上则已与Fibre Channel在同一个数量级上。
在HPC以外的领域的Infiniband的应用:
在过去一年里我们看到Infiniband在HPC以外的领域得到了长足的进步。这主要包括Infiniband在大型网络游戏中心的应用、Inifiniband在电视媒体编辑及动画制作方面的应用。在证券业方面,人们也已经在着手开发以Infiniband为核心的高速、低迟延交易系统。在银行业我们也看到了一些以Inifiniband全面取代Fibre Channel的努力。
明、后年Infiniband的看点:
Voltaire将于明年秋天推出万兆以太网到Infiniband的路由器。这将使由Infiniband对数据网络存储网络的整合得到加速。
Voltaire已经开发出全套的iSER Initiator、Target code。很多存储合作伙伴在利用Voltaire的iSER code开发他们独自Infiniband存储系统。预计在明、后年大家会看到更多的Infiniband存储系统投放市场。
Infiniband已经进入刀片服务器(IBM、HP等等),我们在未来的两年还会看到这方面更多的努力和成功。
Infiniband标准装配在服务器上的努力和成功。
装载Infiniband存储的巨型机进入世界前500巨型机列表。
Infiniband在网络游戏业、石油业、电视媒体业、制造业等方面进入企业级应用。