光纤通道交换机 – 基础篇
本文作者司马聪为博科通讯(中国)公司技术总监,本文作者张峰为《网络世界》记者。本文首发于《网络世界》,文章版权和复制权属于《网络世界》
通过光纤通道(FC)交换机构建的光纤通道网络叫作Fabric,或者叫作光纤通道网络架构。与以太网交换机大不相同,大多数用户在构建存储时,FC交换机往往被紧密地集成到系统中。一方面用户对其关注程度不太高,另一方面所有的大型存储设备厂商都OEM光纤通道交换机,不细心的用户连交换机的生产厂家都不清楚。
本文我们对FC交换机作一个简单的介绍,面对如此“神秘”的Fabric世界,我们只能??轻拂Fabric面纱
基础篇
在20世纪80年代,连接主机和存储设备的标准方法是通过像IDE或并行SCSI这样的接口实现的点对点的DAS(直接连接存储)方式。并行SCSI提供了相对快速的访问SCSI硬盘的速度(5MBps或10MBps),并且几个硬盘可以通过同一个接口连接到计算机上。
但是,随着存储子系统变得越来越大,计算机变得越来越快,一个新问题出现了:外部存储设备开始变得庞大起来。磁带库、RAID(廉价冗余磁盘阵列)和其他SCSI设备开始需要越来越多的空间,这就要求并行SCSI连接从主机延伸出来得越来越远。同时,I/O(输入/输出)速率也在不断增长,于是如何在一大捆线(32或64位数据总线)中保持信号的一致性也就成为了一个需要在物理学上解决的问题。简单的并行SCSI改良版的设计目的就在于,增加数据传输的距离和解决信号一致性问题。但是,它们最终都难以克服高速信号在并行SCSI总线构架下传输这一技术难题。
为了满足这些新的需求,人们开发了为存储设备提供千兆串行网络访问能力的光纤通道(Fibre Channel)协议。在光纤通道协议的第四层上建立了以光纤通道为基础的用于存储的SCSI协议、用于网络的IP协议以及映射到网络架构上的用于集群的虚拟接口(VI)协议。光纤通道协议综合了许多优点,如网络范围的最远距离可达到10公里,可以使用多种介质的简单串行线缆、千兆网络速率以及可以在同一线缆上同时使用多种协议。这些特点使得光纤通道协议作为并行SCSI协议的替代者在整个90年代都得到了人们的认可,现在光纤通道协议被用在绝大多数高容量、高端直连存储设备上。
随着光纤通道协议作为并行SCSI的点对点方式替代者的出现,并随着其逐渐被市场所接受,一种组合单纯的存储应用与网络技术于一身的新技术出现了??这就是存储区域网络(Storage Area Network,SAN)。SAN是一个由存储设备和系统部件构成的网络,所有的通信都在一个光纤通道的网络上完成,可以被用来集中和共享存储资源。SAN不但提供了对数据设备的高性能连接,提高了数据备份速度,还增加了对存储系统的冗余连接,提供了对高可用群集系统的支持。
简单地说,SAN是关连存储设备和服务器的专用光纤通道网络,它和以太网有类似的架构,以太网由服务器、以太网卡、以太网集线器/交换机及工作站所组成,SAN则由服务器、光纤通道卡、光纤通道集线器/交换机和光纤通道存储装置所组成,SAN把大容量、长距离连接从SCSI解放出来,并避开以太网的束缚使数据得以高速传输。
SAN由三个基本的组件构成:接口(如SCSI、光纤通道、ESCON等)、连接设备(交换设备、网关、路由器、Hub等)和通信控制协议(如IP和SCSI等)。这三个组件再加上附加的存储设备和服务器,构成一个SAN系统。
构成存储区域网络的关键设备是光纤交换机即光纤通道交换机。按光纤通道拓扑结构,用光纤通道交换机将存储系统与服务器连接,以提供高速数据传输和数据共享、无局域网数据备份和存储合并。
光纤通道网络在存储系统中占有举足轻重的地位。它可以发现存储系统中的一切,并且管理、控制着存储系统的一切(如下图所示)。
光纤通道交换机 – 技术篇
光纤通道交换机为高带宽和低延迟数据通信提供光纤通道切换功能。目前,光纤通道交换机提供无连接服务(Class2和3)。光纤交换机是使用光纤网络路由直接连接的方式,使用路由软件直接连接发起者和目标,这样就可以独享光纤的所有带宽。这就意味着光纤中每一个连接都可以单独存在,与其他连接互不干扰。光纤交换机端口的数量从8口到64口,甚至更多,其中包含智能交换硬件,使交换机所有端口中的任意两点可以建立连接。
光纤交换机通过E_Ports(扩展端口)可以进行堆叠,这种方法可以使光纤网络扩展到数千个节点,交换机堆叠最多可以达到239个。
较大型的SAN通过在一个网状网络中连接多个交换机来实现。其中每个交换机有一个到网络中其他交换机的单向连接。在图2的例子中,使用的交换机有16端口。随着网络中的交换机数量增加,用于交换机间连接的端口百分比增加。这也是FC交换机端口昂贵的原因之一。
总共有96个端口的由6个交换机组成的网状SAN核心网络中,有30个交换机间的连接和66个用户端口(如图2所示)。
交换机大大提高了光纤网络的性能,例如:名称服务、管理服务以及更加完善的设备连接协议。交换机在绝大多数的环境中被用来作为提供主机到阵列连接的完善机制,尤其是在多重设备、多重引导的环境中交换机是不可或缺的。光纤交换机在SAN存储架构中处于连接核心地位。
光纤通道交换机在逻辑上是SAN的核心,它连接着主机和存储设备。Fabric的基础结构可以被看作是SAN建立的基础。当从一个设备发送一帧数据到交换机时,交换机收到后,将该帧路由到适当目标设备中去。实际上,一个帧可以在它被完全接收之前就开始进行转发。光纤交换机也很智能,它可以提供各种Fabric服务,包括在网络上定位其他节点的服务(简单名字服务),可以自动和Fabric中的其他交换机之间建立路由,将设备分区(zoning),还可以监视和处理错误。
光纤通道交换机有着许多不同的功能,包括支持GBIC、冗余风扇和电源、分区、环操作和多管理接口等。每一项功能都可以增加整个交换网络的可操作性,理解这些特点可以帮助用户设计一个功能强大的大规模的SAN。光纤交换机的主要功能如下:自配置端口、环路设备支持、交换机级联、自适应速度检测、可配置的帧缓冲、分区(基于物理端口和基于WWN的分区)、IP over Fiber Channel(IPFC)广播、远程登录、Web管理、简单网络管理协议(SNMP)以及SCSI接口独立设备服务(SES)等。
光纤交换机往往根据其功能和特点被分为不同的类别。通常硬件可能都是基于相同的基本架构或者相同的ASIC芯片,只是软件的功能不同,光纤交换机的价格是根据它所能满足的需求来制定的。高冗余的核心级交换机是个例外,它往往是根据自己的硬件容错平台开发设计的。以下是各种主要类别的交换机的不同特点。
光纤通道交换机 – 分类
光纤交换机往往根据其功能和特点被分为不同的类别。通常硬件可能都是基于相同的基本架构或者相同的ASIC芯片,只是软件的功能不同,光纤交换机的价格是根据它所能满足的需求来制定的。高冗余的核心级交换机是个例外,它往往是根据自己的硬件容错平台开发设计的。以下是各种主要类别的交换机的不同特点。
入门级交换机
入门级交换机的应用主要集中于8到16个端口的小型工作组,它适合低价格、很少需要扩展和管理的场合。它们往往被用来代替集线器,可以提供比集线器更高的带宽和提供更可靠的连接。人们一般不会单独购买入门级交换机,而是经常和其他级别交换机一起购买,以组成一个完整的存储解决方案。入门级交换机提供有限级别的端口级联能力。如果用户单独使用这类低端设备时,可能会遇到一些可管理性问题。
工作组级光纤交换机
光纤交换机提供将许多交换机级联成一个大规模的Fabric的能力。通过连接两台交换机的一个或多个端口,连接到交换机上的所有端口都可以看到网络的唯一的映像,在这个Fabric上的任何节点都可以和其他节点进行通信。从本质上讲,通过级联交换机,能够建立一个大型的、虚拟的、具有分布式优点的交换机,并且它可以跨越的距离非常大。
由多个交换机建立起来的Fabric,看起来就像是一个由单独的交换机组成的Fabric,所有交换机上的端口可以像访问本地交换机一样查看和访问Fabric上的所有其他端口。统一的名字服务器和管理服务允许通过单独的接口查看和修改全部Fabric的信息。
创建分布式Fabric的一个重要因素,是获得交换机之间连接的带宽。任何两个端口之间的有效速率受到交换机之间连接的有效带宽的影响,可能需要使用多条交换机之间的连接来维护必要的带宽。
工作组光纤通道交换机数量众多并且更加通用。用户可以将工作组交换机用于多种途径,但应用的最多的领域是小型SAN。这类交换机可以通过交换机间的互联线路连接在一起提供更多的端口数量。交换机间的互联线路可以在光纤通道交换机上的任意端口上创建。不过,如果计划使用多家厂商的产品的话,一定要确保设备可互操作。
核心级光纤交换机
核心级交换机(又叫导向器)一般位于大型SAN的中心,使若干边缘交换机相互连接,形成一个具有上百个端口的SAN网络。核心交换机也可以用作单独的交换机或者边缘交换机,但是它增强的功能和内部结构使它在核心存储环境下工作的更好。核心交换机的其他功能还包括:支持光纤以外的协议(像InfiniBand)、支持2Gbps光纤通道、高级光纤服务(例如:安全性、中继线和帧过滤等)。
核心级光纤交换机通常提供很多端口,从64口到128个端口到更多。它使用非常宽的内部连接,以最大的带宽路由数据帧。使用这些交换机的目的是为了建立覆盖范围更大的网络和提供更大的带宽,它们被设计成为在多端口间以尽可能快的速度用最短的延迟路由帧信号。另外,核心光纤交换机往往采用基于“刀片式”的热插拔电路板:只要在机柜内插入交换机插板就可以添加需要的新功能,也可以作在线检修,还可以做到在线的分阶段按需扩展。许多核心级交换机不支持仲裁环或者其他的直连环路设备,它们只关心核心交换的能力。
由于在整个环境里面可用性是最重要的,人们都愿意花更多的钱购买冗余性,高冗余交换机的所有部件都是冗余的,完全去除了单点故障,而且保证了非常长久的正常运行时间。这些在冗余上支出的费用一般花费在高可用性背板、电源、冗余电路和维护可用性的软件上。这种类型的交换机内置很多逻辑电路,用来处理交换机内部的硬件故障。除了冗余之外,核心级光纤交换机支持不中断服务式的软件升级,这样就消除了升级时对系统维护的需要。交替通路是网络上的一种冗余级别,它可以配置一个有弹性的双重Fabric,这种网络完全排除了单点故障,可以避免由于软件或硬件错误、火灾、自然灾害或者操作错误给网络带来的严重后果。对于大多数的高可用性网络,应该选择由核心光纤交换机构建的双通道网络。
核心级交换机提供最高的可靠性和端口密度。在拥有大量光纤通道基础设施的数据中心中,这类产品就是几乎刀枪不入的、集中式的存储交换机。
光纤通道交换机 – 选购篇
不管是采用少量交换机搭建一个简单的存储网络,或是通过大量交换机构成一个规模庞大、扩展性好的核心存储网络,都要在各个交换机品牌和型号中做出选择。
由于交换机是构造存储区域网络SAN的核心构件,所以选择最合适的交换机是至关重要的。只有正确选择对存储区域网络最合适的光纤交换机才能提高企业信息管理的效率,满足最具挑战性的需求。
与其他技术实现相比,交换机的选择可谓是个战略性的决策,必须既要了解企业目前的IT状况和需求,同时又要让选择的交换机能够满足企业今后的发展需求。同时影响最终决策的因素还有可扩展性、兼容性以及与其他硬件设备的互操作性等。
值得指出的是,任何一个存储区域网络都不会是一成不变的,它时刻面临着扩展及与新技术、新产品集成的问题。而存储区域网络正是通过灵活的可扩展性来满足未来的需求,从而保护用户的投资。
扩展性又包括两个方面,一方面是随着存储网络规模的扩大,原有的系统不能满足用户的存储需求时怎样扩展为一个更大的Fabric;另一方面是,随着技术的发展,能够顺利地升级到新的技术与应用。比如,IP存储的发展使得越来越多的用户考虑iSCSI和FCIP,FC交换机将来能否进行IP存储的扩展就显得很重要。
具体来看,必须了解交换机的几个选择要点。包括:体现可靠性和可用性的硬件冗余特性、体现网络节点容量的端口数以及为满足特定应用环境所需的网络功能,同时要考虑存储区域网络项目的预算费用。
选择交换机的第一步,是要确定要连接多少台服务器和存储设备。在挑选交换机时,这里有几条普遍原则可供参考:对于少于八个设备又没有扩展计划的网络,一个8口交换机已经足够了,如果计划将来要扩展到8个以上的设备,那么就要考虑16口的交换机。再如网络中设备多于16台的话,要考虑使用多台16口交换机级联。
如果要保证关键业务的不间断运行,就需要按照冗余方式构建系统。可以考虑双光纤交换网配置方案。由于这种网络拓扑确保了冗余性,所以可以使用较为便宜的单电源交换设备。即使一个交换机发生故障,主机和存储阵列上的链路切换软件也会自动将通信切换到冗余设备上,直到故障设备被更换为止。
如果定期停机维护不会影响企业的应用,那么采用一个带热插拔电源和风扇的交换机性价比高,同时还保证了电源或风扇的任何一个单点故障都不影响网络的运行。
总之,在选择使用哪种交换机来建立SAN光纤交换网络前需要考虑的地方很多,同其他设备采购计划一样,需要在比较交换机之前明确目前和未来的关键需求,还要明确这些需求的优先级别。
编看编想 – 张峰:这是一个封闭的世界
在FC交换机领域,一共只有几个厂家,许多公司销售的都是OEM产品。例如,EMC和IBM这两家公司都转销其他制造商的交换机。
博科从中端起家,但随着12000的推出,也迅速占领了高端的很大一部分市场;McDATA从高端起家,最近也陆续推出了一系列中低端产品;思科是一个后来者,但是在以太网领域的巨大实力使得每个对手都不能小看它,尤其是最近IP存储被普遍看好。这几个厂商也是中国用户比较熟悉的。
存储是最近几年才发展起来的一个领域,其中有些技术是从大型机系统中发展而来,与大家较为熟悉的以太网世界有着很大的区别。因此,对SAN熟悉的工程师不多(这也是一些厂商和机构进行培训的原因)。
另外,与以太网相比,Fabric相对复杂一些,为了保证数据存储的超高可用性,FC交换机中采用了复杂的设计,同时也提供了许多管理功能,不久之后还会有许多高级存储功能移植到Fabric中。所以,在大型用户的IT系统中,如果某个以太网交换机出现了问题,许多管理员都能够解决,而如果FC交换机出现了问题,绝大多数情况是要向厂商求助了。
为了本期购买指南,笔者曾走访了几个用户(主要是大中型用户),得到的结论是,他们对FC交换机很不了解,很多用户都不知道他们使用的是哪个厂家的交换机。某个用户的回答很具有代表性“对于复杂的存储系统内部结构,我们不需了解太多。出现任何疑问马上能够从厂商那里得到支持”。
在存储领域还有一个很重要的特点是,用户的从众心理很明显,如果一种产品占据了大部分的市场份额,如果有很多用户都将其重要的数据存储在某种解决方案上面,那么用户就很容易接受这种产品与方案。用户的回答简单却也实用,“我们随大流,哪个厂家产品卖得最多我们就用哪家的。”
这样产生的结果便是,在存储领域,尤其是中国,竞争还不是特别激烈(大家只要比较一下有多少家厂商在做以太网交换机就很容易理解了)。用户在选购产品时可供选择不多,因此,IDC的报告指出,中国用户在购买存储设备时,承担的费用稍微高一些。