数据存储“简化”的昨天和今天

OEM存储厂商正在被迫“简化”存储,因为我们没有能很好应对目前各种复杂性的存储人才。问题是,简化存储对于我们大多数人来说到底是件好事还是坏事?

对于客户来说当然是好的。在不久以前,我们有了使用VERITAS卷管理器和文件系统(VxVM和VxFS)的SAN文件系统,用于许多商用站点和各种各样的应用。今天,世界完全不同了,越来越简单。在我看来,这一切都是从NFS和NAS存储开始的。

那么,这种向简化存储的变化,只是循环周期的一部分吗?还是长期的发展方向?

存储简化的历史

有句老话:IT里没有新的工程设计问题,而是解决老问题的新工程师。目前的存储趋势是向一体机的发展。我猜测,这种趋势之所以会发生,是因为存储管理员和架构师的匮乏。

这个趋势也源自于其他市场因素,例如缺乏标准。我们有针对互联网标准的IETF,但是对于服务器端的存储,几乎没有任何主导的标准。我们有OpenGroup和SNIA,但而二者在开发广泛的管理标准方向都不是很成功,虽然SNIA出台了Storage Management Initiative Specification (SMI-S),但是我认为有点迟了。现在我们有一个共同商定的网络管理通用架构,但不是适用于所有文件系统的,从像XFS、EXT-4和NTFS这样的本地系统,一直到像GPFS和Lustre这样的大规模并行文件系统。

坦率地说,在我看来,厂商在20世纪90年代没有把握机会联合起来是一件很遗憾的事情。缺乏合作驱动的创新行为,这是我认为NAS将在21世纪初期NAS崛起的主要原因。NAS易于使用且易于配置、管理和升级。

我记得,早在20世纪90年代末和21世纪初的时候,SAN管理员和架构师极其吃香,薪水高得竟然。即使是在互联网泡沫破灭之后,SAN管理员和架构师的薪资仍然高于其他IT职位的平均薪资水平,因为这方面的人才实在太匮乏了。

像EMC、惠普、IBM、Sun和Veritas这样的公司都试图通过提供认证和教育机会抢夺SAN人才。但是对于客户来说,这种认证需要时间和金钱,每年或者每次发布之后都需要进行培训。最糟糕的是,你获得了Sun认证,但对EMC认证并没有多大帮助。唯一的共同点可能是在光纤通道交换机方面。因此,如果客户希望或者需要一个混合的环境,那么不得不让技术人员把大量的时间花在接受培训上。

在21世纪初期,大概是因为来自客户的压力,很多SAN厂商开始有所觉醒。而且,这个时期也开始了SAN公司的整合,减少了培训课目的数量,同时厂商也在尝试着开发类似SMI-S这样的通用SAN管理框架。

为时太晚

在同一时期,NAS市场飞速发展着。NAS的管理、配置、升级和培训都非常简单,接口采用的是NFS。

但是缺少两件事:

1、在流处理I/O方面,NAS的性能还无法与SAN相提并论。但是,很多人发现,大多数I/O都不是流式的,但是IOPS,NAS厂商是通过增加读缓存解决的。

2、扩展NAS是个问题,因为性能并不能随之扩展。因此,这使得文件系统的大小局限在一个NAS框架内。虽然NAS覆盖了相当一部分市场,但却无法覆盖到更高端的市场。

除了少数例外,大部分大型SAN文件系统厂商的市场份额正在被NAS厂商夺走。今天,SAN文件系统市场正在迅速小时,被取代。当你想要一个多 PB的命名空间时,你只有几个POSIX文件系统的选择,但却有很多基于REST/SOAP接口的选择。不过,成为一位了解现有文件系统的文件系统专家,要求非常严格的训练,尤其是考虑到主机、网络、存储设备以及映射到数百个文件系统可调参数的复杂性。

我们的未来是什么样的?

我们已经走到了这样一个地步,存储复杂性已经超过了人才的储备量。而且现在仍然没有一个通用的管理框架,我们有新的应用、设备和方法。我们看到,一体机市场正在崛起,这种产品不需要高端存储的管理人员和专家。

例如,大多数并行文件系统群体已经转向了操作简单的一体机。大多数HPC环境的采购人群也已经迅速接受这种技术,因为文件系统不仅成本高而且培训时间长。

当然,这只是硬币的一面。同样的事情正发生在存储设备和管理对象接口的软件上。这些硬件和软件正变得越来越易于使用,只有在极大规模的情况下才要求有高成本的管理人员。

所以,如果你是一位经验丰富的资深管理员,那么你打算怎么做才不会让自己的薪水大幅缩水?

我认为答案是用于数据分析的一体机(在这里我不谈Hadoop,因为在这个领域的很多架构设计已经完成)。现在,数据分析一体机正处于初期阶段,需要大量精力去开发,数据分析的类型也很复杂。例如,你可能会对一张图像进行去像素画,并创建一个地理位置的数据库,让图像分辨率规范化,这会随着技术的改进而发生变化。然后,你可能会利用这些图像数据预测天气和气候。这与将业务数据进行分析、尝试将其与价格和收入联系起来使利润最大化是完全不同的。

曾经很困难的事情如今正在变得越来越简单。但是我猜测还会有新的更复杂的一体机出现用于解决各种各样的问题,要求大量的调优和配置工作。必须对收集和处理的信息进行构建,这样当试图将这些信息进行关联、处理并提供结果给决策者的时候,数据信息的访问变得更加有效。

最后的思考

文件系统的存储复杂性问题大多数已经被解决,目前仍然有少数问题仍然摆在那里,但是已经不像以前那么多了。

不过,现在摆在我们面前的是一系列全新的、更加复杂的难题。这些难题要求我们对用户使用存储、他们如何访问数据以创建作为决策依据的信息进行深入的了解。这些工作都将是高回报的工作,要求广泛的技能和技术。但是这些技术与现有的SAN和NAS所要求的技能是不同的,必须直接与应用开发者和用户进行沟通。

试想一下,这听起来有点像在1996年和1997年当SAN文件系统开始问世的时候一样。我们必须与负责各个部分的技术人员沟通,更快速高效地掌握所有技能。我相信,今天我们仍然需要这种方法。