技术演讲:围绕数据构建新一代数据中心存储系统

技术演讲:围绕数据构建新一代的数据中心存储系统 H3C 许志峰

各位尊敬的来宾下午好,我是华三存储产品的许志峰。首先向大家汇报华三在IT领域做的成就,以及我们在技术中碰到的困惑,华三针对这些困惑提出了一体化全面数据中心的解决方案,能够有效解决这些问题。

我们首先来看一看华三的存储业务概况。大家可能知道IP存储协议在03年就诞生了,华三是对于IP技术的深刻理解,因此我们看到IP存储是未来存储的发展方向和趋势。我们在04年第一季度的时候就果断投入了大量的人力、物力到IP存储和相关技术产品的研发。

事实上这几年IP存储技术发展非常快,也证明的华三的判断是非常正确而明智的。经过两年的潜心研究我们在05年第四季度的时候就推出了国内第一款自主研发的中高端的IP存储系统,到2006年第四季度我们在亚太地区整个IP存储市场,市场份额占到第一位。去年华三推出了业界第一款端到端的万兆IP存储,这几年我们IP存储增长非常快,每年以百分之百的速度增长。

根据我们的统计数据,华三在中国的整个存储市场,我们市场排名已经跃居第五,如果单就IP存储市场而言我们也已经连续五个季度保持市场的排名第一。

去年一件大事我们推出了万兆的IP存储,去年11月份在北京发布,之后去了美国的存储网络世界大会,也引起了轰动。今年3月份我们也去德国参加了展会。大家看一下这是我们的数据管理产品,这里包括IP5000系列以及统一的数据管理平台UDM,UDM是今年2月份首次发布,现在已经应用于杭州市政府的共享系统里面。

我们还有一个是海量的存储,另一块产品就是虚拟磁带,实现高速备份和可靠性的备份。基于这些创新的产品,我们同样在数据中心的建设领域也有非常完善的解决方案,在介绍具体的解决方案之前我们首先来看一下我们在传统的数据中心建设上面所碰到的一些问题。

这是数据中心的发展历程,大家在上午的时候也看到了这个图,实际上在前面三个阶段无论是以大型机为中心还是以服务器为中心,都是以硬件设备为中心的模式,进入21世纪随着IP技术的进一步发展,一方面硬件设备的性能、技术已经非常高,单纯的硬件已经很说会成为数据中心的平行,另外信息对于数据的重要性认识越来越深刻,实际上企业各个业务运作都离不开数据,比如说像采购、生产、研发、销售、服务等等,都是围绕数据实现的。

因此新一代的数据中心建设以传统的硬件为中心的模式向数据为中心的转变。

数据中心主要包含了三个基础的IP架构,就是计算网络和存储。计算大家都很明白就是实现数据的应用、数据的处理,网络是实现不同的通信实体进行数据的跨空间的传递,存储就是实现数据的保护,存储是数据的跨时间的传递,一个是跨空间一个是时间。归根到底来说,数据中心的建设其实就是围绕数据,实现计算、传输和存储,我们今天的重点就是放在存储这一块的介绍。

传统的数据中心在进行传输建设的时候会面临哪些问题?第一个就是建设思路的问题,对于大型、中型的数据中心在传输要建设什么?怎么建设,这是大的问题。第二个,我们目前企业不断的发展,IT应用规模越来越大,比如现在企业员工的数目是500人,过一段时间增长到1000人,原有的IT系统比如说邮件系统能不能支撑新的规模,这是一个性能扩展的问题。

另外企业在不同的阶段都会购买不同厂商不同架构的产品,存储也好、服务器也好,这里就存在异构的问题、兼容性的问题怎么解决。另外业务的中断会使企业在金钱甚至在品牌上面造成很大的损失,如何实现数据中心的高可靠以及业务的连续性,其他还有如何实现数据全面的保护,如何实现远程灾备系统抵御自然灾害。

企业数据中心扩展到非常大规模的时候,这个时候管理问题是令IT人员非常头疼的问题,如何统一管理、降低管理维护成本,我想各位在数据中心建设当中都会碰到这样的问题。针对这些问题华三提出了哪些存储的解决方案呢?我们首先看一下华三的数据中心存储的建设内容包含了五个方面,这五个方面都仅仅围绕数据和业务实现的,就是在线的存储应用、业务的高可用、数据保护、远程灾备和统一管理。

整个数据中心成熟系统的建设是统一规划、分布实施的长期过程。什么叫做统一规划呢?我们在进行建设的时候要考虑从整体上面设计,我要考虑以后的性能、容量能不能支撑未来得业务发展,我要考虑能不能实现一个标准化的开放的平台以解决异构的问题,我需要考虑能不能保障数据的全面安全、业务的可靠、连续。

分布实施,正因为整个数据中心的建设是长期的过程,不可能是一年、两年就建设完成了,我们可能要根据目前业务的需求以及预算的具体情况,我们要分阶段进行逐步的实施。通过这种统一规划和分布实施的策略可以大幅度的降低重复的投资,而且可以使数据中心的建设符合未来的发展。

大家现在看到是华三的数据中心存储建设框架的示意图,我们看到在本地的数据中心从上而下分别是这样一个应用、数据库、服务器、网络、存储、虚拟这样的结构,在存储这一块按照数据的生命周期来看涵盖了在线、静线和孤岛三个部分,安全实现了应用到存储的端到端的存储,本地通过广域网络进行统一,通过华三对UDM所有在内的基于业务的统一管理。

下面我对建设的内容进行逐一介绍,首先看在线的存储应用。对于在线存储应用大家可能关注比较多的有两个方面:一个是性能,一个是兼容性异构的问题。

其实我们数据中心的性能主要来自两个方面的挑战:第一方面就是业务规模的扩大,刚才也举了一个例子就是500人到1000人邮件系统能不能支撑。另外,像视频监控应用,原来是200个摄象头,现在范围扩大到500个,这样对存储性能也提出了新的要求。

另外就是新增的业务,随着企业的发展,更多IT业务上线了,比如说新上了公司的WEB网站,所有这些都被我们整个数据中心包括存储在内都提出了非常严格的要求,我们希望我们的系统拥有非常大的吞吐量,拥有非常强劲的存储能力,希望时间尽可能短支撑更多的并发用户数,挑战是非常严峻的。

如何选择一个既满足当前的业务需求,又支撑未来高性能、高容量、高可扩展性以及高可靠性的存储系统呢?我们去年推出的万兆IP存储就是这样的产品。

这个产品不单单是支持万兆的IP接口,更关键的是采用了端到端的全万兆的全交换体系架构,这边我们看到就是架构的内部图,可以看到融入了非常多业界领先的技术,除了万兆的IP接口,控制器内部还采用了强劲的多核CPU平台,内部控制总线实现高可靠性,更重要我们的存储控制器和后面的磁盘柜采用高达727b的传输动态,在同一类设备里面华三后端的通道是最大的。在磁盘我们支持最新一代15000转的高转硬盘,可以满足对性能要求苛刻的数据库应用。

万兆数据中心从万兆IP存储怎么部署新的技术、新的产品,实际上也非常简单,大家看到在左边就是传统的数据中心,我们看到有很多服务器,有很多的存储设备、管理非常的困难,而且能耗消耗也比较大,占用了很大的空间。我们看到右边是新一代的万兆数据中心,可以看到通过一台大容量的万兆存储可以替代多台的传统存储设备。

在网络这一层是部署了万兆的IP交换机,在服务器这一层部署了现在最新的刀片服务器,另外结合虚拟机技术整个服务器的数量可以大幅度的减少,减少投资。那么万兆的存储设备和传输数据中心连接,服务器介入后端的存储网络有两种方式,第一种可以直接利用服务器上面千兆的以太网接口直接接入,实现千兆接入万兆汇聚的分层网络。

另外,对性能要求非常高也可以在服务器上面安装非常成熟的万兆以太网卡,直接接入IP交换器,实现端到端的万兆IP架构。那么部署新一代的万兆数据中心可以降低能耗、提高性能、支撑更多的业务,同时在管理上面也非常的简单。

前面介绍的是性能的问题,接下来我们看在线存储方面第二个挑战就是兼容性。兼容性主要表现在采购不同厂商的存储设备、服务器有不同的操作系统和应用,主要带来的问题是整个企业数据中心的部署成本非常高昂,管理维护非常困难,我们进行数据保护的时候也非常困难,因为整个IP系统是分割开来的。

今天上午很多嘉宾也提到虚拟化的技术,虚拟化现在也是非常热门的技术,虚拟化可以实现IT架构的简化,通过虚拟化使上层和底层IT分离,提高资源的利用率。华三在存储这一块的虚拟化技术是怎么实现的呢?主要依靠我们5000的虚拟化管理平台部署在网络平台,构筑统一标准化的平台。

主要有三个特点:第一,实现异构的组织和存储的整合,也就是说我对于不同厂商的服务器可以实现统一的标准化接入。对于底层的不同架构的存储设备也可以进行资源的整合,原来是一个一个分散的存储资源变成了开放、标准化的巨大存储资源,可以进行资源的灵活调配

第二个特点就是能够提供非常丰富的高质数据保护功能。因为我们的IP5000包括其他IP的存储都有非常丰富的数据管理功能,比如说复制、快照、镜像等等,以前如果有多套存储系统做保护的时候如何去实施呢?我们需要在每一台存储系统上购买一套软件,整个投资是非常巨大的。我通过IP5000虚拟化以后只要购买一套数据保护的软件可以对底层所有的存储设备进行统一的保护,成本就降低了。

第三个特点,能够有效打破存储品牌锁定。我们用户在存储后期的扩容或者考虑数据的保护、远程灾备的时候可以灵活选择存储设备,每个厂家都可以,没有品牌的锁定。

我们现在业务的延续性也非常重要,这里是一个META group的调查统计,我们可以看到不同行业每小时停机的损失,很多行业都达到百万以上,这个数字是非常吃惊的。

华三从两个层面提供了业务高可靠的保障,一个是从设备曾经,提供达到5个9高可靠的标准,比如说我们IX3000,能够多主机访问通道,链路聚合和故障切换。另外两个控制器可以实现负载均衡、自动故障任务的接替,另外SAS通路都是冗余,还有镜像的缓存提供的保护。

我们采用了镜像技术实现高层次保护,选择非常灵活。存储的镜像保护单个有两份冗余的数据,当然可以在网络层实现镜像,也就是数据写下来可以写在两个存储层,也可以在主机层,这是从性能和成本的这种考虑,华三所有方案里面都可以实现的。

这是我们技术应用高可用的方案,双机热备方案,大家知道现在在服务器都不采用了双机模式,在网络实现网络的冗余。我们可以从前端服务器到终端的网络到后端的存储都可以实现无端的存储,两台存储设备性能相配,对于品牌和架构没有任何限制,数据写下来是通过IV5000,分成两份写上来,这是一个双机双界面的方案。

我们在业务的运行过程当中误删除一个文件,数据已经不正确的,因此要基于业务高可用基础之上进行全面的数据保护,为了实现数据保护有必要分析一下灾难的分类,我们可以有的放矢针对性提供一些解决方案。大家可以看一看灾难分类的饼图,可以看到硬件故障包括设备故障、供电故障等等占据了44%。

另外,软件故障、人为错误、病毒影响我们称之为软灾害,是占据了49%,剩下7%就是一个自然灾难。我们提出对应的防范灾害的策略就是对于7%的自然灾害,我们只能通过建立同城或者异地远程的灾备中心进行数据的保护。

对于占据份额更多的软灾难和硬灾难可以通过本地的数据中心保护来实现,一方面对于发生概率比较大的灾害通过本地保护发生快速的响应。另外本地数据中心的建设投资要远远小于远程的灾备中心。而华三的数据中心解决方案有三个内容,一个在线保护,一个是静线保护,第三个是离线孤岛的保护。

首先看在线的保护,根据用户具体的IP应用环境提供两种方式,如果已经有了存储系统已经做了集中存储,我们通过IP5000虚拟化的管理平台提供统一的数据平台,通过IP5000进行连续的数据保护,如果采用新建的存储设备,直接采用华三的IP存储就可以实现连续数据保护,其中关键的数字就是TIMEMARK,可以实现全自动多个时间点的保护,发生软灾难的时候可以对数据进行恢复。

整个数据中心在线的保护方案有如下几个优点:

第一,快照生成的速度非常快,不像传统采用备份软件的备份方式需要漫长的等待时间。华三的TIMEMARK跟传统技术不同的地方在哪里?

有两个方面:第一个快照的空间实现的智能的分析智能的管理、空间的大小进行自动的扩容,就不会存在数据溢出的问题。第二个特点,我们整个端的数据实现的时间点非常多,达到255个。这是什么概念呢?

如果我一个小时去做一次快照,一天有24小时,255个时间点的副本相当于提供10多天的数据保护,也就是在十几天之内发生数据故障都可以恢复,快照的资源可以直接分配给服务器进行访问、验证,所以这是非常灵活的。

大家可能会问在在线保护方案里面提供了软灾难的预防,针对硬件的灾难我们提供了静线的保护方案,大家看一下静线的保护方案跟在线的保护方案区别就是又增加了一套保护系统,也就是数据从在线数据来通过以太网交换机复制到静线的数据,这样数据实现了两份保护,如果在线丢失静线还保护,这样业务马上可以恢复。

另外在静线设备方面同样部署我们的连续保护技术,整个保护的级别就非常高,我既能够防范硬灾难,也能够防范软灾难。

对于有法规遵从需求的行业,我们提供的一线归档的方案进行离线的保护,但是如何解决传统磁带遇到的可靠性差、性能比较低的问题,我们在备份服务器和磁带之间增加了一个缓冲,就是虚拟磁带库产品,首先备份的时候直接备份到虚拟磁带库,然后虚拟磁带库和后端的物理磁带库可以直接的联动,实现虚拟磁带的直接导出,这个导出是不需要前端服务器参与,可以解决前端服务器的资源以及前端服务器的带宽,这样解决了传统备份的问题又实现一线归档的要求。

接下来我们看一下针对7%的自然灾害该如何防范?前面介绍了采用远程的灾备系统建设,里面有几个关键的指标,大家可能都比较熟悉。一个是RTO,我发生灾难的时候距恢复所需要的时间,是衡量整个灾备系统恢复的能力。

第二个就是RPO,即恢复点的目标,我发生灾难的时候所允许的最大数据丢失量,是用来衡量灾备系统数据冗余备份的能力。

第三个就是容灾的半径,我们数据中心和灾备中心相隔的距离,几十公里、上百公里甚至上千公里。

我们根据业务的需求结合RTO和RPO的考虑,主要分为三个级别:备份级灾备、数据级灾备、应用级灾备。备份级的灾害放在数据备份上,一般要求一到两天进行恢复就可以了。数据级灾备要求高一点,不但要对数据进行业务的连续性,有一定的要求,一般RTO带数分钟或者一天、两天之内要实现整个业务的恢复。

第三个最高级别就是应用级灾备,对于业务连续性的要求更高,在数分钟之内可能就要实现业务的切换。华三依托于我们有非常丰富先进的灾备技术保障,比如像虚拟化技术、远程复制,基于IP网络的远程复制、快照保护以及快照代理等等,实现从备份级到数据级到应用级的所有灾备方案。

我特别要指出就是远程复制功能,可以用IP链路技术灾备,大大降低灾备成本。大家知道我们进行灾备系统建设的时候链路是一个绕不开的坎,如果链路的带宽很高,整个成本是非常高的,其余IP的方式在这一块可以有很大的节省。另外在广域网络上整个IP链路不是很稳定,我们提出了短点续传技术。

在备份级灾备方案里面,比如前面介绍的虚拟磁带库,两台虚拟磁带库中间可以实现虚拟磁带的跨广域的传输,可以节省人工运输的成本,节省人力、物力和财力,另一方面避免物理传输过程中丢失的风险。

我们经常看到某个国家发生了磁带丢失的案件。在数据灾备这一块也可以根据用户有没有存储设备,我们可以分别提供对应的灾备方案,如果已经有了存储设备实现跨广域的数据传输,如果是新建的存储设备两台IP之间可以做灾备。

华三从中端到高端都支持IP复制,因此在组网的时候非常灵活,对于生产周期来说对性能要求比较高,需要支撑这个业务,就部署IX3000,对于灾备中心建是非常关键,很多情况下是用不到,如果我们在灾备中心同样部署高性能的存储设备可能是浪费,我们采用华三就可以采用中端和低端设备实现两个存储设备的复制。

应用级的灾备可以实现跨广域的双机方案,当然可以在服务器安装复制软件实现灾备。当数据中心规模到一定程度的时候管理问题就逐步凸显出来,传统的管理方式是基于设备、功能的被动管理,我要进行一个网络设置的配置,登录一个网络管理软件,要存储要登录存储的管理软件进行配置。

如果安全设备发生故障,我要看安全这些告诫信息,如果存储性能不行要看存储性能的监控。大家看到管理的模式就是一个分割的方式,已经无法满足我们新一代数据中心的发展要求。为此华三在存储这一块特别推出了UDM统一数据管理平台,能够实现全网的设备,这个全网的设备不但包括网络还包括存储包括安全,能够实现拓扑、告警、性能、配置管理。

我们今天上午也介绍了UDDC,其实UDM就是里面的组建模块。 我们具体来看UDM在数据中心如何部署和应用的。首先可以在在线应用这一块可以进行数据的性能监控,服务器内存用的怎么样,CPU多少,是不是要进行业务的切换调节,存储空间使用怎么样,是不是需要扩容,我都可以进行管理。在数据保护这一块可以实现数据保护业务的配置管理,一个实施的管理,可以实现监控的管理。

在远程灾备的时候可以对于灾备网络存储的设备进行监控、进行管理、进行配置,对业务进行自动的部署,在后续的时候进行一个演练、维护。整个CDM可以实现数据中心特别是大型的数据中心进行简化管理。 另外我们还可以对网络、安全进行统一的部署。接下来我对整个华三企业数据中心存储的几个方案做一个总结。 [14:58:10]
许志峰: 我们能够针对我们的数据和业务提供一个非常全面完善的数据中心存储建设方案,里面是涵盖了五个方面:一个是在线存储应用,一个是业务的高可用,一个数据保护,一个远程灾备以及统一管理。

针对越来越高的性能要求,万兆的数据中心部署是以后发展的趋势,等万兆IP交换机以及刀片服务器成本不断的下降,以后中小企业也会部署万兆的数据中心,这个时间可能在未来几年内就可以实现。

通过IP虚拟化的技术有效解决兼容异构的问题,我们从设备和镜像方案实现了设备的高可用和连续性的保护,针对各种各样的灾难、人为的删除、病毒感染、黑客攻击提供在线、静线归档存储的方案,实现全面的数据保护。我们可以实现从灾备再到数据应用的完整远程灾备方案的实现,我们的UDM可以降低管理和维护的复杂度,可以降低整个TCU。

最后一部分跟大家共享一下我们几个数据中心的典型案例,这里面就用到我前面介绍的几个方案。首先看到的是高性能计算的案例,在这个案例里面一共有17台服务器,是对卫星图像进行搜集、处理、计算,对性能的要求很高,这里面就部署了我们的IX3000,达到用户的要求。这个案例里面我们还看到做的远程灾备是跨广域的,距离80公里。

第二个案例我们看到是宁夏电力集团的双机械双方陈列的方案,像电力、能源、金融系统对于整个业务连续性要求非常高,在这里面我们实现了从服务器到网络设备到存储的冗余的架构,为宁夏电力六大业务系统实现高可靠的访问。

第三个是白沙烟草的案例,这是一个非常典型的虚拟化的方案。用户原来已经有了FC的存储设备,现在需要做一个扩容,另外还需要进行数据保护,原来FC的存储设备已经停产,后来用户考察了目前很多的技术最后选中了华三虚拟化技术,另外我们推出一台IP存储实现扩容,两台统一对IP5000进行管理,IP5000将数据抽出复制到静线上面,进行快速连续的保护,整个保护级别是比较可靠的。

第四个案例是杭州市政府共享灾备系统。这个案例是华三整个灾备方案集大成,几乎把所有的技术、我们的产品、我们的方案都用上了。这是全国第一个由运营商,也就是杭州电信承建,杭州市政府租用的共享灾建系统,杭州市成立了第一灾备中心和第二灾备中心,由运营商提供灾备中心的基础测试和整个灾备的网络以及存储设备。

杭州市多个委办局把数据通过电子政务网到灾备中心,因为政府各个委办局IT业务情况都不一样,有的已经建了存储,有的还没有存储设备,有的已经有了好几台存储设备,我们根据用户不同情况提供不同解决方案,把数据从业务系统里面拿出来通过IP系统进行复制,进行灾备。

另外我们在整个灾备中心里面部署了我们UDM统一数据管理平台,能够实现数据中心、灾备中心所有设备的管理。另外对于运营商来说实现整个基于业务层面的运营。

我今天介绍主要到这里,内容是非常多,但因为时间的限制,讲的比较粗放,如果大家感兴趣可以进行会后的交流。谢谢大家!