浅析IBM新代zEnterprise System大型机

美国时间2010年7月22日,IBM发布了新一代的大型主机(Mainframe)zEnterprise System,并以全新的方式取代了传统的z9、z10这样的产品编号。zEnterprise System在总体设计上继续延续了System z系列的传统,并针对当前企业IT架构与新的应用理念,在提供最高可靠性与可用性的基础上加入了创新的设计。下面我们就在zEnterprise System大型主机在中国发布之际,简要介绍一下它的基本架构与设计。

zEnterprise System的主机设计

作为IBM投入超过15亿美元而开发的System z主机的最新产品,zEnterprise System的目标并没有变化,它在企业IT架构中的角色也没有变化,反而凭借着革命的异构混载集成设计,使其具备了更强的可扩展性,与原有的主机管理平台,为企业IT提供了更高的服务质量(QoS),下面我们先来看看它的总体构成。

zEnterprise System由两大部分组成,一个就是zEnterprise 196中央处理器联合体(Central Processor Complex,简称CPC,图中左边的两个机柜),另一个就是刀片扩展模组(zEnterprise BladeCenter Extension,简称zBX,图中右侧的机柜),除了硬件之外,当然还有重要的管理平台–zEnterprise Unified Resource Manager(zEnterprise统一资源管理器),而zEnterprise System的目标是在能耗、性能、虚拟服务器、网络、Hypervisor(虚拟机平台)与运营方面为大型主机建立一个新的标杆

我们可以看出zEnterprise 196 CPC是由两个框架组成,分为Frame A(框架A)和Frame Z(框架Z),这种设计与z10相同,其具体的结构如下:

zEnterprise 196 CPC的风冷型号结构图,左则是框架Z,右侧是框架A,可以看出框架Z主要是辅助性设计,如电源、I/O、管理等,而框架A是主处理设计,包括了处理器库(Processor Book)以及高速互联I/O、和冷却设备,在风冷型号中,冷却模块是风冷模式的

水冷模式的zEnterprise 196,与风冷模式相比,最大的不同是在框架A中用水冷模块替换了风冷模块,并相应的对一些排线与模块位置进行了调整

目前,zEnterprise 196共有5种型号,原有的z10可升级至所有型号

zEnterprise 196 CPC目前共有5种型号,有这5种型号的区别将在下文中做进一步介绍,IBM表示将在2010年第四季度推出zEnterprise 196 CPC,而zEnterprise 196 CPC M80将提供最强大的性能。

IBM表示,zEnterprise 196 M80主机对于新的工作负载,性能是现有z10最高端E64型号的1.6倍,保持了应该有性能进步幅度

zEnterprise 196处理器简介–MCM处理器模块

IBM大型主机的一个鲜明的特色就是采用了中央处理器(CP)与系统辅助处理器(SAP,System Assist Processor)组成,其所采用的CP既不是IBM自家的POWER,也不是x86,而是一个"IBM独立自主"的,基于z/Architecture主机架构而开发的处理器,其采用复杂指令集架构(CISC),有246条复杂指令负责微码执行,而另外211条复杂则分解为类似于RISC的操作,因此虽然在总体架构上是CISC,但也兼具了RISC的优点。

zEnterprise 196所采用的CP的主频高达5.2GHz,这应该是当前最快的CISC处理器,而为了保证最高的处理密度,IBM仍然采用其惯用的MCM(Multi-Chip Module,多芯片模块)封装方式将多个CP封装在一起,以提供最高的性能。

IBM正式发布新一代zEnterprise大型机(组图)

zEnterprise 196 CPC所采用的CP-MCM模块,这个陶瓷模块是新大型机的中央处理单元,封装了目前世界上最快的微处理器(5.2GHz),使得新大型机的性能比上一代高出了60%,而耗电量是相同的。每个模块每秒能够执行500亿个指令

zEnterprise 196采用模块化的CP子系统模块设计,即处理器库(Processor Book),每个库的外形就像一个刀片服务器,一台zEnterprise 196中最多装4个处理器库。每个库上,安装有一个CP-MCM模块,30个DIMM,最高内存容量960GB(每DIMM 32GB容量)

zEnterprise 196最多可装载4个处理器库,而每个库之间用专用的FBC(Fabric Book Connectivity)总线连接

MCM模块的内部设计,共集成了6个处理器单元(PU,Processor Unit)和两个存储控制芯片(SC,Storage Control),

zEnterprise 196使用的MCM模块外形尺寸为96mmX96mm,采用103层玻璃陶瓷衬底设计,引脚采用LGA形式(共7356个引脚),每颗MCM的总晶体管数量超过了110亿个。

MCM内部芯片的拓扑图,其中GX是与主通道适配器(HCA)连接用的I/O总线,每方向带宽10GB/s,FBC就是处理器库之间的互联接口,而从拓扑图中,我们可以看出PU的设计并不一样,只有PU0、PU1、PU2这三个带有内存控制器,每个控制器有5个内存通道,而另外三个则没有内存控制器

zEnterprise 196处理器简介——处理器单元与存储单元

我们已经知道每个MCM模块含有6个PU和两个SC,那么它们具体的设计又是怎样的呢?其实这才是zEnterprise 196的真正精华所在。

PU的结构图,它其实是一颗4核CISC处理器,其中MCU为内存控制单位,CoP为协处理器,共两个,用于数据压缩与加密处理,每个CoP都是一颗双核处理器。在缓存方面,每个PU有两块L3缓存,各为12MB,共24MB,类型为IBM引以为荣的eDRAM,最高可同时为每个核心提供高达160GB/s的数据带宽

每个PU核心的结构图,每个PU核心 包括一个指令序列单元(ISU,Instruction Sequence Unit,用于乱序执行)、恢复单元(RU,Recovery unit,它保存一份有关系统完整状态的拷贝,包括所有的寄存器、收集硬件错误信号并管理硬件恢复动作)、指令预取与分支预测单元 (IFB,Instruction Fetch and Branch)、指令缓存与合并单元(ICM,Instruction Cache & Merge)、指令解码单元(IDU,Instruction Decode Unit)、整数单元(FXU,Fixed-point Unit)、 十进制单元(DU,Decimal unit,用于整数和浮点的十进制运算)、二进制浮点单元(BFU,Binary Floating-point Unit,用于所有的二进制与16进制的浮点和整数的乘/除法运算)、存取单位(LSU,Load-Store Unit)、转换单元(XU,Translation Unit,它拥有大规模的TLB与动态地址转换功能,用于加速逻辑地址向物理地址的转换)

MCM中的PU采用了名为CMOS 12s的芯片技术,CMOS 12s是IBM开发的领先的处理器技术,其基于13层铜互联与硅覆绝缘体技术,生产工艺为45nm。不过,虽然每个MCM可以提供了6个PU,按理应该是24个核心,但这6个PU中的核并不见得全部用上,要看具体的zEnterprise 196型号。一般的是采用混合模式,即PU0、PU1、PU2和PU4只开启三个核,而PU3和PU5则开启4个核,这样总共只有20个工作核。所以在zEnterprise 196 M15(一个处理器库)中,有20个工作核,在有两个处理器库的M32则有40个,M49(三个处理器库)有60个,M66(4个处理器库)则就是80个,到了M80则就把所有的核全打开,这样就是96个,为最高水平。

在内存方面,MCM采用了内存冗余阵列技术,每个控制器有5个内存通道,但数据通道只有4个,另一个专门为校验准备(即N+1设计),当然每个数据通道中也将存有校验数据,内存总容量可达3840GB

介绍完PU,我们再来看看MCM中的那两个存储控制器,它们的芯片技术与工艺和PU一样,芯片大小为24.4 x 19.6 mm,由15亿个晶体管组成,它主要由L4缓存组成,类型也是eDARM,共占用10亿个晶体管,为MCM上的6个PU提供最后一级的缓存服务。

存储控制器(SC)的内部结构,一个SC共含有96MB的L4缓存

以一个MCM为单位,总共有192GB的L4缓存为6个PU最高24个核心服务,平均每个核心分配8MB L4缓存,需要指出的是,每个SC可为所有的PU服务

至此,我们可以为zEnterprise 196主机系统做一总结了,详见下表:

表中所指的SAP,就是原来z System中的专门针对某种应用而加入的辅助处理器,另外,还有一系列的逻辑处理器,主要用于虚拟化和z/OS等指定环境,目前有以下几种:

IFL(Integrated Facility for Linux,集成Linux设备): 用于在z/VM虚拟机环境下Linux虚拟机用的处理器,负责处理Linux应用
ICF (internal coupling facility,内部耦合设备):用于耦合设备控制代码的处理器
zAAP(Application Assist Processor,应用辅助处理器):主要用来处理z/OS JVM的Java或是z/OS XML系统服务工作负载
zIIP(Integrated Information Processor ,集成信息处理器): 主要用来处理器DB2 DRDA或 z/OS3 Communication Server IPSec工作负载

zEnterprise BladeCenter Extension简介

zEnterprise BladeCenter Extension(简称zBX)是zEnterprise System的一个最具革命性的设计与创新,它的出现也让大型主机的角色和能力有了悄然的转变,进一步适应了当前企业IT架构演变的需求。

zEnterprise BladeCenter Extension的扩展说明,一台zEnterprise 196主机可最多带4个zBX扩展机柜

zBX扩展机柜的内部设计,架顶(TOR)交换机用于与zEnterprise 196的互联,而每个扩展机柜最多可配两个BladeCenter刀片机箱

zBX BladeCenter刀片机箱的后视图,IBM并没有标明机箱的型号,但从其14个刀片的安装能力来看,应该是从BladeCenter E/H演变而来

zBX刀片扩展机柜使得zEnterprise System具备了System x与POWER刀片的扩展能力,这在大型主机的历史上是史无前例的,最多4个机柜可以提供8个刀片机箱共112个刀片服务器的扩展能力。目前zBX只有一个型号,为Model 002。

IBM正式发布新一代zEnterprise大型机(组图)

IBM工程师正在向zBX中安装一个新的x86刀片服务器

zBX的出现,意味着IBM将为大型主机赋予更多的使命,进一步解决传统企业IT架构中大型主机与下属POWER及x86系统的整合问题,因为部署大型主机的用户,肯定还会采用 POWER或x86系统,而这两种系统的灵活加入(刀片的混载)则可以为客户提供灵活的解决方案,进一步帮助用户整合IT基础架构,从而也就进一步巩固了 大型主机的地位。在另一方面,借助这一架构,zBX还为zEnterprise System贡献了新的处理功能,其中最主要的就是智能分析优化系统(SAO,Smart Analytics Optimizer)。

SAO是IBM基于x86刀片服务器而设计的,专门为zEnterprise System提供额外的数据分析能力的系统,它其实是一套软硬件结合的,基于z/OS平台的DB2数据库的数据仓库与商业智能平台,为z/OS应用环境提供了迄今为止最高的数据分析能力,其数据分析性能是上一代z10主机的10倍,其主要组成就是IBM Smart Analytics Optimizer for DB2 for z/OS软件(目前版本为1.1) 和定制的SAO刀片服务器。

zBX最多可容纳56个SAO刀片,每个刀片配置为双路4核2.93GHz 处理器,12条4GB内存(共48GB),一个32GB的SSD,双端口10Gb网卡,和8Gb FC CIOv扩展卡。有消息称,zBX只支持HX5刀片(基于X5架构),可根据这一规格,2.93GHz是HX5刀片不可能达到的主频,倒是很像英特尔的至 强X5570(4核)配置,不过至强E5640(32nm,4核)在加入Turbo Boost之后也是2.93GHz,由于至强5500面临淘汰,所以我们推测SAO刀片可能是基于至强E5640的。

除了SAO外,zBX支持的System x与POWER刀片配置如下:

zBX的System x刀片配置

zBX的POWER刀片配置

从配置上看,zBX的POWER刀片必是POWER7刀片无疑,若以性能角 度分析应该就是PS701(单路,双内存控制器),而在System x方面,2.66GHz仍然不是HX5刀片所能达到的主频,低功耗方面(80W)也是至强7500和6500所达不到,而至强 E5640(2.66GHz,80W)和至强X5650(2.66GHz,95W)倒是很符合所标注的规格,但是否真如笔者猜测的这样,还需日后进一步证 实。

现在我们可以清楚的看出,zBX与zEnterprise 196之间是怎么协同工作的

不过,虽然配备了System x刀片服务器,但IBM并没有打算让它去执行Windows应用,因为它是zEnterprise System处理资源的一部分,最终还是要听从zEnterprise 196的指挥,而在这方面IBM支持了自家的AIX系统(用于POWER7),但并没有为Windows打开一扇窗,不过zEnterprise System的计算力供给控制中心(Capacity Provisioning Control Center)却是一台Windows工作站。

IBM计划在2010年底前在zBX平台上,提供POWER刀片,而对System x刀片的支持则在2011年上半年提供。

 zEnterprise System所支持操作系统,虽然有支持System x刀片的zBX,但并不支持Windows

总之,zEnterprise System这次的设计很有新意,也让我们看到了IBM在大型主机上的用心良苦,不过这种“变形金刚组合”的方式也的确为大型主机增添了新的活力与能力,让它从原本封闭的形象开始转向兼容并包,从而也为大型主机打开了新的未来景象……