解读IBM eX5之MAX5内存扩展技术

当很多人在拼命追求CPU的速度，以期让服务器获得更高的性能的时候，一项测试却表明，不同应用的性能对服务器的三大组件——CPU、内存和I/O的依赖程度，内存居然排在了第一位。测试包括了服务器的大部分常规应用，包括文件服务器、打印服务器、终端服务器、Web服务器、邮件服务器、数据库服务器和计算服务器。测试的结果显示，除了在“文件服务器”一项中得到第二外，其余六项中内存都排在了第一位，由此可见，内存对服务器性能的发挥至关重要。

 
不同应用对服务器组件的依赖程度

特别是，当虚拟化、云计算等逐渐成为企业新的应用热点时，内存的瓶颈作用就愈发明显了。以至强7000系列处理器为例，虽然每一代处理器的内核、缓存、主频，甚至微处理器架构都有发生变化，但每个内核所能访问的内存DIMM数却相当保守。如下图所示：

三代至强7000系列对比
 

除了架构，扩展内存还有良方

从2007年推出的至强7300到2008年的至强7400，直至今年问世的至强7500，其CPU每个内核访问的内存条数均未超过2个。

内存控制器的变迁
 

此前，英特尔将内存控制器设计在了处理器之外，这种传统的FSB模式越来越捉襟见肘，无论是在内存带宽还是内核之间的通信方面。

2009年，英特尔在Nehalem处理器中开始集成内存控制器，这就是QPI架构。通过QPI总线，处理器之间可以直接相连，不再需要经过拥挤、低带宽的FSB共享总线，多处理器系统运行效率大为提升。

QPI虽然可以大幅提升性能，但对于内存扩展也带来了一些新的挑战。比如扩充内存先要添加处理器，远端内存的访问性能显著降低，在某些情况下必须使用昂贵的大容量内存。

面对这样的困境，为了进一步释放Nehalem架构处理器的性能，IBM对X86服务器架构进行了大胆的创新：将内存从传统的与服务器处理器紧密捆绑的局限位置中解脱出来，让内存的扩展可以独立于处理器。其做法就是全新的eX5架构中最重要的一块：MAX5内存扩展技术。

MAX5技术示意图

解读MAX5技术“秘籍”

MAX5的关键技术就是eX5芯片，其中包含内存控制器和探听过滤器。MAX5内存扩展带来的好处是显而易见的：支持的最大虚拟机数量是竞争产品的两倍，支持更高的数据库性能，提高服务器利用率，允许用户用更便宜的内存硬件来满足特定内存容量需求。

 
MAX5内存扩展架

同时，这么多的内存可以灵活发分配给多个CPU使用或者汇聚成一个内存池，这样软件许可证费用大大减少。

另外，由于MAX5芯片中还集成了探听过滤器，可以更好地管理多个CPU内存与多个内存之间的数据冲突和延迟，提高内存访问性能。
比如，一台双路的x3690 X5机箱里本身就可以支持上下两块带有16个DIMM的内存板，即共有32个内存DIMM。如果再配上MAX5内存扩展单元（上面配有32个内存DIMM），即一台x3690 X5最终可以扩展到64个DIMM。而如果通过QPI线缆将两台x3690 X5连在一起，形成四路系统，总共内存DIMM数就可以达到128条。

eX5三剑客添“火力”

IBM在推出eX5架构的同时，还推出了基于eX5架构的三款服务器——双路x3690 X5、四路的x3850 X5以及双路的刀片BladeCenter HX5。这三款产品都支持MAX5技术，能为它们所配置的新至强处理器“如虎添翼”。

MAX5扩展单元

在Max5帮助下，机架服务器可以在1U空间内容纳32个内存插槽，刀片服务器则能容纳24个内存插槽。四路机架服务器本身就具有64个本地内存插槽，在容量上假如采用8GB的内存，IBM可以在一台四路服务器上将内存扩展到768GB；而如果用户选择16GB内存，内存可以扩展到惊人的1.5TB。这对于一台四路服务器而言是绰绰有余的了。

配备了MAX5的x3850 X5

此外，eX5芯片组还可以让两台处理器规格相匹配的双路机架或者刀片服务器连接到一起，组成一台SMP系统，这个技术被称为“FlexNode”。类似的，两年前IBM就已经推出 LS23/LS43皓龙刀片服务器从双路到四路的升级，不过采用的是HyperTransport总线技术。而现在的FlexNode技术让SMP不仅限于刀片服务器，两台四路的服务器同样可以连接到一起，从而组成一个八路系统。

MAX5内存扩展技术使用对比