1985–2015:EMC高端存储30年回顾与展望

站在2009年回望过去的岁月,IT产业在摩尔定律带领下奔跑,计算架构分分合合、公司之间你争我夺,时而崛起新的黑马,凭借新技术专利革了老一代的命;时而见一代明星公司轰然倒下,沦为倒闭、被收购而湮灭的境地。真可谓"沉舟侧畔千帆过,病树前头万木春。" EMC这家三十而立、风头正劲的公司,是如何一次一次地抓住机遇、把握命运的?

1985 – 1995:主机时代的辉煌

在大型主机时代,一台计算机配备一个存储设备,存储设备跟计算机直接相连,称为直连存储。一台计算机会带几百台终端,供几百人使用,因此又称集中计算时代。

当时,IBM大型计算机磁盘存储业主要是由IBM公司及其主要大型机竞争对手组成的,其中包括日立、StorageTek等公司,所有这些公司都在制造销售"接插兼容"磁盘存储系统。从历史上看,IBM 公司通过其专利磁盘驱动器技术控制了大型机存储器市场,该技术能够在速度和单位密度等特性上体现最为强劲的性能。IBM公司之所以能控制市场,其关键原因在于磁盘驱动器物理特性与大型机操作系统希望看到的镜像之间的紧密联系,这种镜像是一种一对一物理映射。IBM公司的竞争对手被迫匹配这些物理特性,以达到兼容的目的,比如所谓接插兼容。它对技术的控制使其在整个80年代中控制了80%市场份额,人们事实上认为无人可以撼动其地位。

得益于快速发展的技术以及商用PC部件–SCSI、微处理器、内存芯片和磁盘驱动器–成本的降低,EMC另辟蹊径挑战IBM公司独霸天下的局面。1990年,微处理器速度和性能已比1985年提高10倍以上,内存价格更是一再深幅下跌。另外,原本设计用于个人电脑和工作站的5.25英寸商用磁盘驱动器,其容量、性能和可靠性也在增长和提高。通过独立磁盘冗余阵列(RAID)将成本较低的5.25英寸驱动器组链接在一起,EMC公司就能够提供足够容量和可靠性,替代使用14英寸专利磁盘的接插兼容大型机存储器。

利用商用磁盘驱动器建立信息存储系统的概念,起源于EMC公司的固态存储产品Orion。1989年,EMC公司加速由信息存储器增强产品提供商向信息存储解决方案提供商转变,除了针对微型机向IBM公司直接存取信息存储设备系统提供接插兼容替用产品外,EMC公司推出大型机兼容固态磁盘子系统Orion,进入IBM大型机信息存储市场。沿着Orion这个思路,EMC运用了SCSI附加磁盘驱动器以确保其容错性,并将多个磁盘驱动器加在后端,从而使固态技术转换为大型读/写缓存。通过将多个并行处理器阵列置于缓存和磁盘之间,或缓存和大型机宿主计算机之间,EMC创造了一种全新的信息存储架构,使得系统速度和其它一些尚未在大型机市场获得重视的潜在特性取得重大进步和提高。

与其它接插兼容制造商简单复制IBM公司一对一物理映射的工作相比,EMC公司利用控制器、缓存和算法创立了"逻辑至物理映射",并认为信息存储系统不一定都要像IBM磁盘驱动器系统,而只需让计算处理器"认为"它们相同即可,即按照相同模式接收数据。缓存原则已经在宿主处理器系统上使用多年,缓存在CPU和主信息存储器之间发挥高速中间体的功能,保存那些频繁使用的数据。就信息存储系统的历史而言,数据总是被直接写入磁盘,并在被读取时转移至某个小缓存。将数据写入缓存的概念只是在1990年才出现的。由于利用强劲微处理器成为可能,EMC公司能够以相当低廉的成本提高智能程度,并开发查询缓存内数据的算法,以非常高的效率将数据从缓存写入磁盘,从而显著提高总体系统性能。

1990年秋天,EMC公司推出Symmetrix 4400集成缓存磁盘阵列(ICDA)系统,配备24GB RAID信息存储器、256兆缓存和32位控制器。大缓存和控制器内置写盘算法让Symmetrix获得了远远快于竞争对手产品的系统速度,而其占地面地却相对缩小了80%。通过RAID 1磁盘镜像技术的实际应用、确保缓存稳定工作的电池后备、"写入/校验"数据检查、持续磁盘缺陷监控等技术,保证了高可靠性。

随着磁盘驱动器、SCSI接口和微处理器技术持续快速进步,EMC迅速提高了Symmetrix后续版本产品的容量、速度和可靠性。该产品在性能上享有的名声也迅速提高,其运行某些程序的速度已经与竞争产品构成了量级优势,性能作为信息存储关键标准的看法也得到了普遍承认。1994年,随着Symmetrix 5500系统的推出,EMC公司开始从最初的营销市场定位进入主流市场,其产品性能在90年代初期和中期迅速提高,使其市场份额大幅提高。到1994年Symmetrix系统已获得三分之一市场份额,1995年更是以41%的份额独占鳌头。

话分两头。在上世纪80年代后期,RAID理论逐渐趋于成熟。90年初,前后有三家公司几乎同时在这一领域起步,分别是EMC公司的Symmetrix,Data General公司(又称DG公司)的CLARiiON和DEC公司的StorageWorks。其中,Symmetrix针对IBM大型主机,CLARiiON和StorageWorks针对Unix开放系统。DG公司于是1999年被EMC收购,CLARiiON成为给EMC带来巨额收入和利润的中端产品线。DEC于1998年被康柏收购,康柏于2001年被惠普收购,StorageWorks现在成了惠普公司的EVA产品线。EMC Symmetrix因为起步于大型主机的关系,一直走着高端的路线,并在几乎整个90年代独步高端市场。因为当时大型主机还是采用专门定制的14英寸机械磁盘作为存储器,价格非常昂贵,而EMC采用5.25英寸标准磁盘构建RAID阵列,价格降低了一个量级。

EMC利用磁盘阵列、控制器内缓存和最新技术16兆内存制造了小型、快速和性能卓越的产品。这些产品经济实惠,将日立公司和 StorageTek公司都赶出了这个市场。日立公司放弃了这项业务,而StorageTek 公司成了EMC最重要的OEM客户,StorageTek后来被Sun收购,而Sun最近又传闻被IBM收购。

1995 – 2005:服务器/网络时代的领先

进入服务器/网络时代,存储区域网络(SAN,Storage Area Network)概念走向成熟。

当时,IT产业的重大问题是计算能力、数据存储和IT系统管理的集中和分散之间的相互拉锯关系。这种相互拉锯的趋势是由技术造成的,并受到各种机构和企业的推动,其发展方向对EMC公司及其企业信息存储的前景构成了重大影响。

从主机时代开始,信息技术一直酝酿分散化路线,计算能力及其相关数据存储从数据中心大型机迁移至部门服务器,再迁移至工作站和个人计算机。最初,推动这种趋势的是商业需要,而就预算结构而言也支持这种分散化趋势。微型机和工作站使得部门经理和个人能够控制他们自己的项目,而不用求助高高在上的计算中心。购买几台微型机的成本往往低于安装或升级大型机系统的成本。而且,在大多数公司中购买大型集中式系统的开支往往需要得到高层的批准,而购买几台工作站或一台新服务器则完全可以在部门内部解决。但考虑到公司大多数用户无法访问大量共同数据,分散计算的推广也使得连接部门服务器的分散存储系统不断增加。

到90年代中期,人们认识到分布式计算根本无法管理,于是开始将公司的IT系统重新集中。当时,大量重要业务计算在部门级Unix和NT服务器上运行,没有统一的数据保护和安全协议;配备多组微机的多客户端-服务器系统,造成各种类型和版本的软件以及不同版本共享文件的大量产生;拥有分散系统的真实成本远远高于预计,其总体成本往往是采购成本的3-10倍。另外,由于新应用程序需要访问很多共同数据,各大公司终于意识到让信息散布在机构内部所可能耗费的巨额机会成本。

受技术、地点和功能集中的驱动,以往一直保持独立的大型机和中-高端开放式系统(Unix和NT)部分迅速融合成为一个异构系统。RAID是所有这些系统的共有技术,这些系统被越来越多地置于同一数据中心中,运行重要任务应用程序。

存储区域网络(SAN)是另一种数据集中的方式。它是一种将不同数据存储设备连接到服务器的快速、专门的网络。SAN将服务器和远程的存储设备(如磁盘阵列、磁带库)连接起来,使得这些存储设备看起来就像是本地一样。典型的 SAN 是一个企业整个计算机网络资源的一部分。通常 SAN 与其它计算资源紧密集群来实现远程备份和档案存储过程。SAN 支持磁盘镜像技术(disk mirroring)、备份与恢复(backup and restore)、档案数据的存档和检索、存储设备间的数据迁移以及网络中不同服务器间的数据共享等功能。因为是基于网络化的存储,SAN比传统的存储技术拥有更大的容量和更强的性能。通过专门的存储管理软件,可以直接在SAN里的大型主机、服务器或其他服务端电脑上添加硬盘和磁带设备。

在这一阶段,EMC凭借主机时代的强大势头,继续引领高端存储。1995年11月,EMC公司宣布推出Symmetrix 3000,在同一系统上同时支持大型机和异构开放式系统数据(UNIX和NT)。那时,大多数公司都在各种不同的计算平台上存放数据,包括大型机、大型UNIX服务器和小型Windows NT系统。Symmetrix Enterprise Storage(企业信息存储)使不同平台利用相同信息存储设备成为可能。

1998年,EMC掌握了50%大型机市场、30%异构企业市场和包括内部磁盘存储器在内的整个信息存储市场的11.5%。1997年以前,高端存储阵列市场是EMC一家独大。直到1997年日立公司采用RAID技术的思路推出HDS 7700,1999年IBM推出Shark系列,高端磁盘阵列存储系统才出现三分天下的局面。IBM Shark系列先后推出了X系列、E系列、F系列,到现在是DS系列。HDS也大致经历四代,以HP OEM HDS(1999年5月,HP开始OEM HDS的高端产品)的型号来看,分别为XP256、XP512、XP1024和XP24000。EMC Symmetrix 8000系列是EMC Symmetrix采用总线体系结构的最后一款产品;第二代体系结构的产品是于2003年推出的Symmetrix DMX,从这时开始的几代EMC Symmetrix,都采用直连矩阵结构。

直连矩阵结构大大提高了EMC Symmetrix的性能和可扩展性。回想一下,在2003年,互联网应用已经有了长足的发展,数据量增长非常迅速,很多客户都遇到了性能瓶颈,存储性能的改善正是雪中送炭。

直连矩阵第二代产品是2004年推出的Symmetrix DMX-2,在性能上进一步提高。直连矩阵结构的第三代产品是2005年推出的Symmetrix DMX-3,它是业内首款能扩展到1PB容量的存储系统。2007年,EMC推出直接矩阵结构的第四代产品Symmetrix DMX-4。DMX-4主要解决的问题是分层存储。DMX-4在一个机柜中同时支持固态硬盘、不同转速的光纤通道磁盘和大容量低能耗的SATA II磁盘,以优化性能,大幅度降低成本,降低能耗。尤其是固态硬盘的采用,让DMX-4在市场上获得了巨大的竞争优势。在软件方面,DMX-4集成了 RSA 的 enVision平台,进一步提高了Symmetrix安全与法规遵从水平。此外,DMX-4已经开始采用虚拟化技术,通过虚拟精简配置,简化存储管理。

2005 – 2015:虚拟化时代的远见

当前最显著的趋势莫过于云计算。”云计算”的核心是虚拟化。”云计算”就像一个超大规模的数据中心,这个数据中心犹如一个”新一代超级计算机”,它的主要组成部分是计算、网络、存储、虚拟化、管理、安全。各个组成部分是通过虚拟化软件进行统一管理和调度的。 “新一代超级计算机”可能有很多的CPU,内存不一定在服务器里,可能有一个内存的”海洋”,有一个存储的”海洋”。将会有不同厂商向这个”超级计算机”提供所需的组成部分,其中关键的是操作系统是虚拟化软件,例如VMware,它可以自动分配CPU、分配存储、在虚拟机上运行不同的程序。在此基础上,信息存储是这个”超级计算机”的重要组成部分之一。

早在几年前,EMC便看到了虚拟化的趋势。2003年底到2004年初,EMC收购了服务器虚拟化的领导者VMware;2005年,EMC收购了文件系统虚拟化的领导者Rainfinity;2005年,EMC发布Invista网络存储虚拟化平台。其中,VMware服务器虚拟化成为当今最炙手可热的部分。

EMC、思科和VMware对虚拟化数据中心的未来拥有一个共同的愿景。这一愿景,以及EMC跟两家公司的历史性强强联盟,使得三家公司的产品路线图形成联锁。三家公司正携手合作,建立互补的解决方案。例证就是,EMC在虚拟化方面所做的工作跟VMware的高度协同(当然,VMware也是EMC的控股子公司),以及EMC与思科的关键战略联盟,同时也是思科进军数据中心服务器战场的顶级存储和安全合作伙伴。

EMC最新推出的EMC虚拟矩阵架构可以为虚拟数据中心提供可扩展的海量存储。采用该架构的Symmetrix V-Max 存储系统,成为当前世界上最快的高端存储阵列,助力用户打造前所未有的虚拟数据中心存储。

再看另外两家高端存储厂商。HDS于2007年推出全新智能存储服务平台Universal Storage Platform V (USP V),并宣布该平台配备了日立下一代大规模异构虚拟层和日立架构创新。不过,USP V已经两年没有更新了。同样是2007发布的EMC Symmetrix DMX-4,依靠EMC两次更新固态硬盘技术而在市场上占尽风头。而EMC新推出的Symmetrix V-Max,更是凭借虚拟化方面的大量增加功能,例如同样容量的存储空间配置,可以减少60%的点击次数和80%的配置时间;以及FAST(全自动存储分级)技术等等,把USP V远远甩在后面。同时,USP V采用MIPS处理器,也给它的发展带来制肘。MIPS处理器在性能上不是运行存储软件的最佳选择;MIPS处理器也不是工业标准处理器,发展速度不如X86处理器快,长远来看,高端存储采用X86处理器是一个趋势。对HDS来说,从MIPS处理器移到X86处理器上的工作量比较大。

IBM在存储上的步伐显然慢了些。一方面,它的DS系列高端存储平台近50个月来没有像样的改进,主要是硬件上升级,软件功能多年没有更新,尽管其软件就是IBM AIX的简化版,但IBM在这方面的投入力度不够。后来,IBM又收购了XIV。不过,业内人士指出,”XIV存储系统缺乏企业级存储特征”。它不支持IBM Mainframe主机和AS400,称它为高端存储平台有些勉强。据3PAR副总裁Craig Nunes先生评价,”XIV产品的存储效率偏低,180TB的容量实际利用只有80TB,这是其不足之处。”

展望未来,”云计算”呼之欲出,虚拟化数据中心将大行其道,EMC正在这个方向上全速前进,有望在可见的时间内继续领导潮流。EMC不仅在存储平台充分体现虚拟数据中心的要求,而且增加了诸多对Vmware、Hyper-V等服务器虚拟化软件的支持特性,并结合EMC Smarts和ControlCenter的服务器、网络和存储管理功能,对整个虚拟数据中心提供全面的支持。



附:EMC Symmetrix发展史上的业内第一

在整个高端存储阵列发展中,EMC几乎一直走在前面。EMC创下了高端存储技术创新史上的多个第一。

  • – 第一个容量达到1TB的磁盘存储器Symmetrix 5500,推出时间为1993年。EMC采用128块9GB磁盘做成1TB的存储器,用在IBM大型主机上。
  • – 第一个远程容灾软件SRDF(Symmetrix Remote Data Facility),推出时间为1994年10月。EMC SRDF可以在一个或多个物理上间隔的目标Symmetrix系统上复制生产数据,摆脱地域限制。当生产数据遭到破坏时,可以迅速将数据复制回来,以实现容灾要求。
  • – 第一个允许大型主机和开放系统数据存储在同一系统上的软件,运行该软件的系统为Symmetrix 3000系列产品,推出时间为1995年。当时还有一件趣事,由于EMC Symmetrix在市场上极其畅销,只要是大型主机用户,必然选择Symmetrix存储阵列,因此,EMC销售人员一开始对Symmetrix 3000没当回事儿,也不认为有多少大企业会用开放系统,因此不积极向客户推荐新系统。EMC当时的CEO Michael Ruettgers 使出一个极端的招数,就是将新的系统堆到销售负责人的门口,告诉他,你不把这些东西卖掉,你休想轻松地进门出门。很快,这些新系统就都卖出去了。
  • – 第一个”in the box”复制软件EMC TimeFinder,推出时间为1997年。TimeFinder软件采取后台模式为活动Symmetrix生产卷创建可独立寻址的本地镜像,以实现多个任务并行。EMC TimeFinder可以在业务数据产生过程中,随时复制出一个BCV(Business Continuity Volume)卷。BCV卷跟生产卷的数据是相同的,可以用于开展多种数据操作,例如数据容灾、应用测试、数据分析、批处理等。例如,银行的业务特点是早9点到晚5点做业务,晚5点之后立即将数据备份到磁带,晚9点到为止备份好数据后再进行业务清算批处理,清算结束大约到第二天凌晨2点了,之后把头一天的数据做一个完整的备份,大致到6点结束,9点又开始第二天的营业。如果清算结果发现账不平,需要将数据从磁带上倒回来重新处理,找到原因改正数据后重新做清算处理,然后做数据备份,这样一反复,很可能到第二天9点,头一天的数据处理还没有完,不能正常营业。有了BCV卷,就可以将批处理和数据备份同时进行,每天为银行赢得4-6小时的时间。因此,TimeFinder让Symmetrix深受银行这一类用户欢迎。其它厂商后来的高端存储阵列,也都纷纷增加了这一功能。
  • – 第一支持多厂商存储的SAN管理软件ControlCenter,推出时间为2002年。无论是HDS、IBM还是其它厂商的设备,都能通过这个软件集中管理。
  • – 第一个在高端存储上实现与IBM AIX、Sun Solaris和HP UX的光纤通道连接,推出时间为1998年。
  • – 第一个开放系统路径管理软件PowerPath,推出时间为1998年。PowerPath是EMC最成功的软件之一,也是EMC第一个运行在主机端(Unix和Windows服务器)的软件,之前的SRDF、TimeFinder等都是运行存储端的。PowerPath的最大贡献是,实现了主机与存储系统之间的多通道支持,从而可以做负载均衡和自动故障切换。此前,一台主机只能支持一块HBA卡,HBA卡的作用是实现从主机到光纤阵列柜的连接和数据包交换。这时,HBA卡及其相应的连接就成为一个故障点和瓶颈。PowerPath让主机可以支持多个HBA卡,从而解决了这个问题。PowerPath给EMC带来一个好处,就是让EMC在主机端占有一席之地,方便EMC通过扩充PowerPath而实现更多的数据管理功能。例如,EMC在2006年收购RSA安全公司后,将RSA的加密技术集成到PowerPath中,可以对数据库、文件服务器和存储层的密钥进行管理。当有人进行相关的数据操作时,必须提供RSA动态加密算法的口令才能通过,从而增加数据安全性。
  • – 第一个采用3.5英寸磁盘,时间为1994年。它的好处是增加阵列柜的密度和容量。例如,EMC Symmetrix 5500支持128块5.25英寸磁盘,而EMC Symmetrix 8730可以支持384块3.5英寸磁盘。
  • – 第一个直连矩阵存储架构Symmetrix DMX,推出时间为2003年。它大幅提高了存储系统与主机/服务器系统的I/O传输能力(MB/s)。
  • – 第一个支持500GB LCFC盘的高端磁盘阵列,推出时间为2006年,在EMC Symmetrix DMX-3中。它是一种FC接口的ATA盘,主要贡献是提高容量、降低成本。大家知道,目前光纤通道磁盘的容量只有450GB,而ATA磁盘的容量大得多,成本也低得多。
  • – 第一个支持1TB SATA II磁盘的高端磁盘阵列,转速达到7200RPM(转/分),推出时间为2007年,在EMC Symmetrix DMX-4中。它进一步提高了磁盘阵列的容量,降低每GB价格和能耗。
  • – 第一个在磁盘阵列中引进企业级固态存储闪存驱动器(固态硬盘)技术。2008 年 1 月,EMC 公司成为第一家集成固态硬盘(SSD)到企业级存储系统的厂商,并于2008年第一季度提供用于Symmetrix DMX-4平台的73GB和146GB容量的固态硬盘。由于在固态硬盘没有机械部件,它的能耗很低。在一个存储阵列中,闪存磁盘存储1TB数据比传统机械磁盘少用38%的能量。30个15000RPM的光纤通道磁盘才能达到单一闪存磁盘同样的性能,以每秒交易为单位进行比较,能耗可降低98%。闪存存储技术理想地适用于支持需要快速处理大量信息的应用,例如外汇交易、电子交易系统、实时数据供给处理、主机交易处理等等。配备企业级闪存磁盘的存储系统可以提供毫秒级的应用响应时间,比传统15000RPM的光纤通道磁盘快十倍。例如,某信用卡提供商配备采用闪存磁盘技术的Symmetrix DMX-4存储系统,可以更快地处理其欺诈探测信息,在以往处理一笔交易的时间里可以多清算高达6倍的交易。目前,EMC公司是唯一能够为其全线存储系统提供企业级固态硬盘的厂商。不仅高端的Symmetrix系列,中端的CLARiiON 存储阵列,以及Celerra系列统一存储系统,都支持固态硬盘。EMC的战略是,将固态硬盘当作”0″级存储,传统的光纤通道磁盘当作”1″级存储,大容量、低功耗SATA盘当作”2″级存储,三种存储介质可以同时配置在一个系统中,形成各有所长、相互补充的分级存储体系,为客户高效地存储和管理数据。尤其是,企业级闪存技术的可扩展性能、效用和能效,与大容量、低功耗SATA磁盘驱动器构成了一个黄金组合,可帮助客户改进性能、节省资金。2009年3月,EMC 公司宣布推出全新的、容量更大的第二代企业级固态硬盘。新的固态硬盘容量更大,为200G和400G,成本更低,性能更高。其它存储厂商正在准备推出73G和146G的固态硬盘。