调查报告:数据中心互联面临的难题

为了实现重要商业应用的零误工,一些企业把数据中心也联合起来,这样一来当某个数据中心出现故障时,上面的应用可以切换到另外一个数据中心。服务器虚拟化技术的出现,如VM迁移,使这一选择更具灵活性。有些企业更胜一筹,通过创建相互连接的数据中心同时在两个不同的数据中心里运行相同的应用。

虽然有许多关于此部署的架构决策,但或许最关键的是两个数据中心如何通过DCI连接。应用与虚拟化软件的要保持同步,则需要两个数据中心之间的延时非常短,通常要控制在毫秒范围。这一要求在IT和数据中心设计师创建DCI架构性时起到了举足轻重的作用。

由DCI连接的应用需要使用以太网,这样就会带来巨大的挑战,包括延时问题,还可能创建环路从而导致网络崩溃。有多种方案可以应对这种挑战,包括使用运营商服务,如VirtualPrivateLAN服务,但是这些方案也存在自身局限性。

例如,当VPLS可用来阻止运营商网络中的循环时,它不会阻止客户内部网络中出现循环。VPLS可能带来延时并因此影响应用的使用。客户或许想使用MultichassisLinkAggregation之类的技巧,在这种技巧中,两到多个以太网交换机在本地合并到一起使两条以太网连接成为一条。

其他选择还包括使用暗光纤和DWDM,二者都可以提供很快的连接。虽然暗光纤和DWDM都很贵,但是它们能为DCI提供最优连接。

数据中心互联增强应用有效性

应用如果出现故障,对企业的损失是比较大的,特别那些关乎关键业务的系统。阻止应用故障的策略之一就是创建数据中心的互联,或是用DCI连接两个数据中心,这样当故障出现在一个数据中心的时候,应用会继续在另一个数据中心里运行。在ITIL推荐要发挥所有固有资产价值以及使用积极数据中心模式的倡导下,这种方法得到了进一步发展。

有两种方法可在两个数据中心中创建可用性较高的应用。第一是选择一个应用,在其中一个数据中心中使用这个应用,而另外一个数据中心则作为备用。这样,当第一个数据中心出现故障时,应用会转换到另一个数据中心继续运作。监控管理技术,如VMmare的vMotion,可以让虚拟机从一个物理服务器转移到另一个服务器上,通过此项操作来实现进程的持续运作。

第二种选择是应用同步化,这样就可以在两个数据中心里同时运行应用。群集,共享和存储复制等技术都有助于实现同步化。

但是许多有应用运行的群集和复制技术都需要共享一个以太网,而且以太网数据会通过单点播放/多点播放或广播的形式发送给集群中的所有要素(服务器,数据库和存储)。

问题在于,虽然以太网可在数据中心电缆上传输几百米,但是它的局限性也会对企业创建DCI形成阻碍。这些阻碍包括延时和带宽挑战。

运营商也提供了一些服务期望能应对诸如此类的挑战,但是这些服务在部署方面仍然存在局限性,而且还不足以保障应用的高可用性。我们将审查这些挑战并介绍一些可创建DCI连接的替代物。最佳选择是使用MultichassisLinkAggregation(MLAG)等技术,因为它们使用了暗光纤和DWDM服务。

延时问题

延时是一个比较麻烦的问题。造成延时的原因主要有三个,最主要的就是距离。距离越远,电子信号的传输时间就越长。

两个数据中心之间最常见的延时底线由VM迁移来决定,如用于VMwarevSphere服务器的vMotion,它可以让虚拟机从一个物理机组迁移到另一个机组。VMware称,源服务器和目标服务器之间的延时必须小于5毫秒(vMotionMetro许可证更改了vMotionTCP堆栈使其支持动态套接缓冲,这样便调整了TCP协议堆栈中里的内存数据包缓冲,按照延时/带宽情况优化性能,可以容许稍长一点的延时)。

你的企业有没有为改善网络制定预算?


图一:改善网络连接的预算

实践结果是数据中心的距离在50-75公里范围内可以进行可靠的VM迁移。

遗憾的是,这个距离对于较严重的灾难恢复计划而言还不够(如飓风,地震或是区域性的电信故障)。因此企业要平衡应用应对灾难恢复要求的弹性。

延时还会影响存储复制,特别是在同步复制中,数据块写入必须在两个站点间在5-10毫秒内复制完,这要取决于恢复点的目标恢复时间。

对于同步操作而言,延时的影响比较小,因为写入确认可以在不影响存储源的情况下被接收到,而且请求/响应顺序没有通过写入确认来限制。但是如果你计划进行亚秒故障转移,通常需要进行同步存储来确保数据不被丢失。

另一个导致延时的不显著因素是运营商往往使用隧道协议,如MPLS,ATM或SONET。MPLS网络的问题在于运营商不能保障网络中两站点之间的路径。运营商网络可能在一个城市的多个节点跳动,这样以太网络帧在转发时会增加处理延时。

最后一个导致延时的要素是带宽。网速快当然延时就短;例如,1G接口的延时为5.7毫秒,但是10G接口的延时仅为0.57毫秒。简而言之,改善延时问题的简单方法就是使用高带宽网络。

QoS挑战

应用在两个数据中心之间的有效性也会影响QoS设置的限制。以太网有五个可用的QoS类可以对数据流进行分类管理,这样便能限制第二层数据中心互联可以处理的服务量。

同时,在DCI上你还有两股不同类型的数据来维持应用的有效性:突发性,高带宽应用和低延时,持续爆发的监控迁移数据流。因此,你必须设计好QoS设置使其满足两种数据的需求。

注意,不论有多少带宽可用,都可能出现瞬时数据爆发占用所有带宽,从而使你的QoS设置失效。这种情况可能出现在数据路径的任何一处,即便是以微秒来计算的数据爆发都严重影响整体传输性能。网络阻滞可能导致各种数据回流,致使问题复杂化。

TrafficTrombone

创建DCI过程中以太网面临的另一种挑战是“TrafficTrombone(网络内部的信息往返流动)”(图3)。以在线商务为例:它有面向公众的Web/应用服务器,该服务器可连接至内部数据库服务器。假设,有一个VLAN已被扩展到第二个数据中心。

如果该Web服务器在两个数据中心间徘徊,它会保留相同的IP地址,所有数据都必须穿过DCI链接。如图3所示,里面包括了出入外部用户端的数据以及出入数据库的数据。

另需增加的带宽严重限制了该方案的可扩展性而且还增加了带宽的成本。供应商正推出DNS负载平衡之类的传输系统,因为这样的系统可以随时将数据流发送到新地址,不过它们的实用性还不足。例如,如果你的数据库没有用类似Web服务器这样的监管平台进行虚拟化,你如何能对推动数据库服务器及其相关应用和Web服务器机制进行管理呢?

阻止循环

以太网为DCI的创建带来了另一个技术性障碍。以太网创建于30年前,是一种本地网络协议,所以当时没有考虑到跨机器扩展。就设计而言,以太网是一种多路存取技术,所以可通过网络上的所有端点接收以太网广播和多点传播帧。

因此,当主机发送以太网广播或多点播帧时,这个帧必须通过所有以太网进行转发,包括DCI。当广播帧循环回到以太网网络时,它就会被所有交换机转发,即便它此前已被广播。这就制造了一种快速消耗所有网络带宽的条件,而结果便是导致网络瘫痪。

数年前开发的生成树协议就是为了阻止这种循环,而且它现在仍在沿用,尽管RapidSpanningTreeProtocol(RSTP)已经在可靠性和速度方面有所超越。

问题是SpanningTree不能在长距离传输中效果不好。当网络延时超过250毫秒时,RSTP就不再能阻止循环。

结论便是SpanningTree不能在创建DCI时有效阻止循环。试一下你就会发现它易受单向数据流的影响,而其他操作都会出现故障。虽然存在单向链路检测协议(UDLD)这样的补丁,但是运营商的服务很有可能会拦截UDLD或是其他减少STP限制的功能。

供应商开发出了很多技术复杂的方案用于解决循环问题。三种最常见的方案就是VPLS,MLAG/PortChannel和OTV。

MPLS的变体

被广泛用于网路电路管理的MPLS协议已经扩展为添加Layer2的方法,包括VPLS,Layer2Pseudowires和MPLS以太网。

VPLS是多协议标记交换的一种形式,可以在使用MPLS的网络中进行提供透明化的LAN服务。它最显著的性能是运营商可以轻易将这个服务部署到现有网络上,因此可用较少的精力和成本销售新服务。

VPLS比较普遍,因为许多人都会向运营商寻求解决方案。根据2010年InformationWeek对334位IT专业人士进行的调查发现有30%的企业已经部署了VPLS,另外有4%的企业打算在未来12个月里进行部署。


WAN服务的使用

虽然这对于运营商来说是件好事,但是如果你想通过创建DCI来提高应用的可用性,那么VPLS的作用是有限的,因为基础MPLS网络仍然不稳定,且延时会超过5毫秒。如前所述,延时对VM迁移或其他集群具有极坏的影响。

一个运营商的MPLS网络容易受到这些问题的影响,因为当网络被改变,扩展的时候,它会随时间发生变化。MPLS也让运营商订购超量带宽。虽然每个运营商的的订购水平不同,但是客户对带宽可用性或性能并不确定。这些条件都为客户网络带来了不确定性,而且用来监控Layer2性能的工具也极少。

简而言之,虽然VPLS是一种可承受网络延时与不稳定的方案,但是它不适合你想在DCI上运行的重要应用。

Layer2Pseudowires(L2PW),是对其他与MPLS相关技术(L2TP,,VPWS,L2TPv3等)的统称,这些技术都是Layer2点对点连接。许多运营商都提供L2PW服务是因为便于他们在现有网络上进行部署。

对于所有VPLS和L2PW服务而言,客户必须部署自己的阻止循环方案,因为没有哪项服务可以阻止客户网络中的循环,只能在运营商的网络中进行阻止。客户必须确保端对端网络中循环的安全。


新WAN方案的部署情况

EoMPLS在常被运营商使用。许多客户使用EoMPLS在现有企业或私有MPLS网络上创建自己的L2DIC,特别是使用DWDM/暗光纤的时候。

但是VPLS只适用于EoMPLS:缺少确定性,路径服务不稳定和服务性能的可视性较差。建议将其作为备用方案或是当你确信运营商提供的服务可以达到协定水平而且你可以对此进行监督时才使用。

超越MPLS

当谈到应用可用性的要求时,虽然MPLS及其扩展存在问题,但企业可能想找到它的替代物,包括MultichassisLinkAggregation和OverlayTransportVirtualization。

MultichassisLinkAggregation是用两个端到端L2服务连接两个数据中心的最常见方案,大多数网络供应商都具备MLAG功能,包括Avaya,思科,Dell/Force10,惠普和Juniper。

MLAG是指把两个或两个以上以太网交换装置连成一个单独的操作装置的过程。其基本概念是两个两个交换机架都有单独的控制面板,因此可以使用链接或聚合实现两个以太网的连接。

可使用LinkAggregationControlProtocol把机架之间的以太网连接整合成逻辑水平的单独连接。MLAG最适合短距离网路电路或是DWDM,在这样的网路电路中可以访问暗光纤,而且可以同时进行本地L2VLAN和L3路由服务。

思科热衷于针对非常见问题研发出解决方案,然后以专属性能的方式提供给客户。OverlayTransportVirtualization(OTV)也不例外。OTV将以太网帧包装到IP数据包中,因此可以较低的运营商成本在数据中心之间使用任意Layer3传输。

OTV为企业提供了一种很好的方式对使用现有L3MPLS服务的Layer2DCI进行管理,控制和查看。虽然其部署和维护都简便但是却需要小心设计才能确保运营商的服务能处理OTV数据。

但是OTV的优势是可以抵消许可证和硬件成本。OTV仅限于思科Nexus7000交换机和ASR9000路由。其性能取决于运营商的基础服务满足你服务目标的程度。

暗光纤和光波

客户的另一个选择是在使用暗光纤的数据中心之间部署自己的电缆。虽然这办法可能因为政府规定而难以实施,但是它却具稳定性而且不复杂。

如果你可以访问自己的暗光纤,MLAG就是用于L2服务的最佳选择。

如果暗光纤不在考虑之列,你可以搜寻DenseWavelengthDivisionMultiplexing来购买不受MPLS网络问题限制的以太网服务。DWDM将网路电路多元化为镭射波长,然后在网络上复制其物理信号。你的数据没有被转发,桥接或封装。你的带宽可以得到保障,而且可以完全掌控QoS,流量等。


无效WAN服务

不过DWDM和暗光纤的资金成本意味着必须有高回报才可行,因此许多客户选择同时运行Layer3和Layer2服务。因为DWDM/暗光纤服务是端到端的可靠带宽而且不会与其他服务共享,你可以控制系统中的所有要素,而且可决定QoS,流量控制和性能。

从技术层面来讲,暗光纤/DWDM是实现可靠和可预测网络传输的最实用选择。L2链接控制可通过LLDP/UDLD来创建,而使用EoMPLS与MPLS的L3服务也可用来进行数据隔离以满足网络安全需求。一旦你完全控制住网路电路,就可使用MPLS为数据中心里多个层级提供安全保障/隔离。

从商业角度来讲,用于暗光纤/DWDM服务的SLA是通过确定性建立联系。其结果是小型紧凑的MPLS网络且具有一个MLAG方案的最佳性能。

注意此前我们提到运营商的MPLS服务不是非常有力的选择,因为用户缺少控制且对操作缺乏可视性。当你可以自己控制带宽时——可能是使用暗光纤/DMDW——MPLS成为了数据中心相互连接的实用工具。


正确连接

了解自己的局限性

或许使用Layer2DCI应参考的建议是:规模小,结构简单,了解自己的局限性。如果你资金雄厚,可以选择暗光纤或DWDM进行关键任务安装,因为有了服务的所有权与控制权就会有产出。

如果光纤或DWDM对你而言太贵了,可以寻求端到端EoMPLS服务或OTV。

注意对于很多企业而言,L2DCI都需要执行配套的培训和调查研究,因为企业的网络设计师可能不熟悉MPLS,MLAG和DWDM。

还要注意Layer2DCI可支持少量VLAN。但是如果要扩展到10到20个VLAN,那么规划与对硬件供应商和运营商的调查就需要更多资金。误差与错误可能摧毁数据中心的网络,因此不推荐使用大量VLAN。

尽管DCI的使用存在极大挑战,但是可从操作能力,恢复能力和应用可用性方面对其进行平衡。

花点时间研究和了解相关事宜,特别是运营商服务的可靠性问题上年要进行了解。在通往项目成功与长期可靠性的道路上,你得有个好的开始。