白皮书:PCI Express总线技术白皮书

1.1 PCI Express总线的起源和现状

2001年春季的IDF上Intel正式公布PCI Express,是取代PCI总线的第三代IO技术,也称为3GIO。该总线的规范由Intel支持的AWG(Arapahoe Working Group)负责制定。2002 年4月17日,AWG正式宣布3GIO 1.0规范草稿制定完毕,并移交PCI-SIG进行审核。开始的时候大家都以为它会被命名为Serial PCI(受到串行ATA的影响),但最后却被正式命名为PCI Express。2006年正式推出Spec2.0(2.0规范)。

PCI Express总线技术的演进过程,实际上是计算系统IO接口速率演进的过程。PCI总线是一种33MHz@32bit或者66MHz@64bit的并行总线,总线带宽为133MB/s到最大533MB/s,连接在PCI总线上的所有设备共享133MB/s~533MB/s带宽。这种总线用来应付声卡、10/100M网卡以及USB 1.1等网络接口基本不成问题。随着计算机和通信技术的进一步发展,新一代的IO接口大量涌现,比如千兆(GE)、万兆(10GE)的以太网技术、4G/8G的FC技术,使得PCI总线的带宽已经无力应付计算系统内部大量高带宽并行读写的要求,PCI总线也成为系统性能提升的瓶颈,于是就出现了PCI Express总线。PCI Express总线技术在当今新一代的存储系统已经普遍的应用。PCI Express总线能够提供极高的带宽,来满足系统的需求。如下表所示:

目前,PCI-E 3.0规范也已经确定,其编码数据速率,比同等情况下的PCI-E 2.0规范提高了一倍,X32端口的双向速率高达320Gbps。

1.2 PCI Express总线的技术优势

PCI总线的最大优点是总线结构简单、成本低、设计简单,但是缺点也比较明显:

1) 并行总线无法连接太多设备,总线扩展性比较差,线间干扰将导致系统无法正常工作;

2) 当连接多个设备时,总线有效带宽将大幅降低,传输速率变慢;

3) 为了降低成本和尽可能减少相互间的干扰,需要减少总线带宽,或者地址总线和数据总线采用复用方式设计,这样降低了带宽利用率。 PCI Express总线是为将来的计算机和通讯平台定义的一种高性能,通用IO互连总线。

与PCI总线相比,PCI Express总线主要有下面的技术优势:

1) 是串行总线,进行点对点传输,每个传输通道独享带宽。

2) PCI Express总线支持双向传输模式和数据分通道传输模式。其中数据分通道传输模式即PCI Express总线的x1、x2、x4、x8、x12、x16和x32多通道连接,x1单向传输带宽即可达到250MB/s,双向传输带宽更能够达到500MB/s,这个已经不是普通PCI总线所能够相比的了。具体配置可以参照表1。

3) PCI Express总线充分利用先进的点到点互连、基于交换的技术、基于包的协议来实现新的总线性能和特征。电源管理、服务质量(QoS)、热插拔支持、数据完整性、错误处理机制等也是PCI Express总线所支持的高级特征。

4) 与PCI总线良好的继承性,可以保持软件的继承和可靠性。PCI Express总线关键的PCI特征,比如应用模型、存储结构、软件接口等与传统PCI总线保持一致,但是并行的PCI总线被一种具有高度扩展性的、完全串行的总线所替代。

5) PCI Express总线充分利用先进的点到点互连,降低了系统硬件平台设计的复杂性和难度,从而大大降低了系统的开发制造设计成本,极大地提高系统的性价比和健壮性。从下面表格可以看出,系统总线带宽提高同时,减少了硬件PIN的数量,硬件的成本直接下降。

1.3 PCI Express总线在万兆存储系统的应用

在H3C公司开发的最新一代存储产品IX3000中,采用Intel最新一代服务器硬件平台技术,前端支持高达16个GE接口,或者8个GE+8个4Gb FC接口,最高配置更可以支持多达4个10GE接口,后端接口可以提供6个SAS×4宽端口,达到72Gbps的后端访问速率,提供无与伦比的磁盘访问IOPS和吞吐量,只有PCI Express总线架构的系统才能满足系统性能的需求。

IX3000存储系统控制器系统架构如下图所示。系统采用4条×8的PCIE总线来扩展前端和后端接口,采用2条×8PCIE总线来实现2个控制器之间的缓存镜像,采用2条×8PCIE总线作为系统内部的控制和管理通道。其前端接口能够安装10GE接口卡或者GE+FC COMBO接口卡,以及GE接口卡,后端PCIE接口用来和高性能的IO处理扩展卡连接,提供高性能IO处理、RAID计算以及CACHE镜像管理等功能,并提供SAS后端接口用于连接SAS磁盘阵列,为用户带来前所未有的存储新体验。