存储专栏：大话高端存储的硬件架构和软件功能

存储在线专栏文章：前几天我们连续发表了多篇西瓜哥的专栏文章，网友反映非常好。今天，我们继续整理并发表西瓜哥关于高端存储的硬件架构和软件功能的相关内容。

高端存储的硬件架构发展到现在，江湖上有很多流派，我们今天做一个简单的归纳总结。

小型机双控架构

这个流派不是一般人都能做的，HP应该也有资格，但市场只有IBM一家在做。IBM 2009年推出的DS8000高端存储就是采用这种架构。其实非常好理解，拿两个小型机，采用双机软件组合成一个系统。

上次我们分析中国区IBM高端存储卖得最好，是否就说明这个流派是主流流派呢？其实玩高端存储的人很多都瞧不起这个流派，主要打击他两点：扩展性和切换时间。最多2控吧，无法再scale out扩展了；采用双机软件吧，切换时间是分钟级？但凭心而论，IBM的POWER CPU太强了，虽然只有两控，毕竟是小机啊，SPC-1的值好像是45万IOPS，成绩非常好了。至于切换时间，我需要找更详细的材料看看具体是多少，如果采用并行处理，就不用切换了，就是热备方式，优化后我感觉应该是秒级能够搞定。

多控架构

高端存储的少林武当派认为，只有多控架构（大于2控）才是正宗的高端存储派系，其他都是歪门邪道。圈内很大人认为，多控才叫高端。但也有人认为，支持大机才叫高端。这些都是民间的说法。现在这个社会就像大数据的MESSY特征一个，全混杂交叉了。你说多控是高端吧，HP 3PAR StoreServ 7000是一个中端存储，但是支持4控。你说支持大机才是高端吧，HP 3PAR StoreServ 10000和IBM自己的XIV都不支持大机。但他们都叫高端。多控架构也有很多流派，我们从出现的时间来一一了解。

1. 总线交换式

做数通的都知道，这种架构高端产品不好再用了，只有低端还在用。存储也一样，EMC和HDS早期的产品就是采用这种架构，市场上应该见不到了；

2. 交换式架构

这种架构HDS首先推出，目前HDS VMAX应该就是采用这种架构。和数通一样的，CROSS BAR交换其实很早以前就在出现在高端交换机里面了。这种架构个人认为比较完美，上面一层是主机接口，中间一层是CACHE，下面一层是后端接口。但也有人攻击这种架构仲裁太复杂，延迟比较大。

3. 矩阵直连式架构

这种架构很可笑，据说HDS给自己的架构申请了专利，EMC没有办法，就撒赖说，我干脆不交换了，每个需要通信的部件全部拿根线连起来。这就是著名的DMX蜘蛛网架构，EMC打击HDS就说我快，时延小，废话，因为不用交换。HDS打击他就说有本事你再扩展一控试试，看你到底是卖高端存储的还是卖线缆的？哈哈，有意思。

4. 全分布式交换架构

自从HDS老讽刺DMX是卖线而不是卖存储的后，估计EMC丢不起那个人，天天再琢磨怎么回击HDS。有了，现在中端存储的节点这么便宜，我拿中端存储的硬件，中间用一个交换机连起来，只有交换机容量够大，我的软件功能够强，想要多少控就多少控。这就诞生了VMAX虚拟矩阵架构。这种架构有好处就是每个节点都不贵，现在都是拿INTEL的平台做的，但扩展性好。我更喜欢叫松耦合scale out交换架构。架构虽然简单，但对软件的能力要求高，因为多个控制器自己的通讯协调复杂啊。3PAR也是采用这个架构，后来被HP收购。IBM的XIV也可以算这个架构，但耦合程度更松，更像云存储。华为去年推出的HVS也是采用这种架构。这种架构内部有很多小流派，主要是交换技术的选择不同，如VMAX采用RapidIO交换（也是国际标准哦，但大家都不熟悉），XIV先是以太交换机现在换成了InfiniBand交换，3Par采用的是PCIE背板交换，而华为HVS也是采用PCIE交换。个人感觉PCIE是趋势，从成本和速度发展看，HVS现在也号称交换容量世界第一，而且现在才采用PCIE 2.0，如果将来采用PCIE 3.0，那还了得。

高端存储硬件架构区分

还有如下有两种方式区分好像比较容易理解，因此，这里也简单说明一下：

1、按照scale的方式分

这种方法，HDS VSP就属于统一大缓存多处理器Scale up架构，IBM DS8000比较特殊，还是模块化集群技术，其他的高端应该都算下面所说的scale out架构。

2、按照耦合的程度分

这种分法好像认可度更高些，由于韩主任在文章里比较认可HDS的架构，认为耦合比较紧，时延全局一致，符合高端的特点。因此，HDS的销售一见客户就拿这个文章去给客户看，呵呵。

现在看来，除了EMC还采用RapidIO技术外，其他架构基本都是PCIE，个别用InfiniBand。IBM的DS8000曾经也用RIO-G（remote IO），现在也转PCIE了。我这里大胆预测VMAX下一代也会抛弃RapidIO。

高端存储除了架构外，还有前端接口和后端接口。

前端接口：所有的高端存储都支持FC，8G为多，部分支持16G。大机的接口FICON只有EMC\HDS\IBM支持。FCoE和iSCSI除了DS8000好像都支持了。

后端接口：后端磁盘柜的连接只有两种，一是传统的FC AL连接（还不是交换的），DS8000，3PAR 10000，EMC还是采用这种传统的方式，缺点大家都懂，仲裁环的方式，性能肯定不如SAS，并且支持SAS盘很麻烦，需要做桥接。HDS VSP和华为HVS已经采用采用SAS交换技术连接后面的磁盘框，性能上有优势，但不支持FC盘了。谁能想到高端存储不支持FC盘，要在前几年，你都不好意思说。但现在SAS是趋势，FC盘用得很少了。因此，我预测EMC的下一代VMAX产品也会采用SAS后端，不信也赌一顿饭。只是SAS的线缆太粗了，而且距离也比较短，布局上不好设计。但我相信以后的SAS协议肯定支持光纤，就像现在的PCIE也可以用光纤连接一样（但据说成本就好几千一根），这个也可以赌一顿饭，哈哈。

硬件结构就说这么多了，高端存储关键还是在软件上，下面我们会聊聊软件功能。