对象存储的发展历程揭秘

80222

背景介绍:

硅谷多家技术公司顾问Philippe Nicolas贴出了一张有趣的对象存储发展历程图片,利用数据表细化出内容寻址存储(CAS)即对象存储的发展历程。

802表

该图表汇总了多家企业不同产品的起源,X轴代表时间线,Y轴则为企业,项目和产品名称,并作出评论和分析。

和很多创新一样,这个图表充分说明,几乎所有的系统都来自小型厂商。其它IT细分市场是如此,存储亦是如此,即便后者始终与硬件和基础设施相关。

图表中蓝色星标代表一些网络巨头发表的重要论文。这些论文引起了一连串适用于超大规模环境的对象存储方案的商业运作。

GFS(谷歌文件系统),MapReduce和BigTable加上Hadoop,亚马逊Dynamo,雅虎MObStor和Facebook Cassandra一直是上图大多数公司的主要参考资料。但这些公司并未发现商用产品能够充分满足它们的预期需求,还不肯为产品和复杂性的限制大把烧钱,而更乐意基于它们强大的Linux DNA,设计,构建,开发,控制和掌握自身的技术。

为了方便阅读,左下方进行了标注说明。红圈代表收购案,橙圈代表OEM,实心蓝圈代表开源,空心代表特殊开源,菱形为公司或产品,蓝色星标为重要论文,红色星标为项目,橙色为Apache Hadoop(开源软件架构),绿色星标代表产品。

第一波浪潮

我们可以清楚地看到1998年到2005年CAS厂商带来的首波浪潮。FilePool公司显然走在该行业的前列。该公司设计了一种全新的方式对大量数据进行长期有效存储。这一举措同时也拉开了磁盘数据归档的序幕。

此外,图表还列出了Bycast, Evertrust, Permabit, Archivas, Sun(拥有Honeycomb项目——针对固定内容归档的技术)公司以及极具潜力的Caringo公司,它为CAS和后期的对象存储阶段之间架起真实的桥梁。

而为了说明这个拥有大好前程细分市场的魅力,几乎所有厂商都被收购了。

比如:

2001年,FilePool被EMC收购成为Centera产品;

2013年,Evertrust被Nexsan收购,更名为Assureon,然后它又在2013年被Imation以1亿美元吞并;

2007年,Archivas 被HDS以1.2亿美元收购变为HCP(日立内容平台),2010年,Bycast被NetApp收购。

第二波浪潮

第二波浪潮是在2004/2005年到2009年,这个时期出现了真正的对象存储先锋。该时期和之前定义的CAS时代有小部分重叠。主要的厂商为Caringo, Cleversafe, B-Virtual则变为Amplidata, Compuverde, DDN(Bucket File System),而在2015年,Redcurrant项目分支出了OpenIO公司。

我们同样列出了Ceph和Gluster,这两个开源项目很有名,在市场上也备受瞩目,后期被红帽收购,Ceph是2014年通过Inktank以1.75亿美元收购,而Gluster则早在2011年就被红帽以1.36亿美元收购。在2003年,红帽就已经开启它的存储收购战略,以3300万美元收购Sistina公司用于其集群卷管理器和文件系统。

这一时期也是为保护数据提供更好数据完整性和持久性的新存储方式正式亮相,纠删码方案,通过Cleversafe和Amplidata得到改善。2006年,也是Amazon S3元年,它是由亚马逊推出的破坏性存储模式,彻底改变了IT世界。这款云存储产品只需简单订阅即可通过网络进行远程访问。隔年Nirvanix推出,旨在处理市场企业级部分的问题。

第三波浪潮

第三波变革出现在2008/2009年至今,出现了大量的开源项目和产品例如:

OpenStack Swift;

Skylable;

Manta(来自Joyent公司);

Minio;

OpenIO;

Ambry(来自LinkedIn公司);

Torus;

Microsoft Azure;

Google Cloud Storage。

这对大数据和一些瞄准企业,电信运营商或服务提供商内部部署需求的商用产品起到了真正的促进作用。这里我们可以看到一些打算构建并提供新的数据存储平台的厂商,采用多个访问协议或方法作为最终的整合因素。

开始虽然你拥有纠删码和访问法的特性有助于形成对比,但想要差异化的解决方案还是很难。一些厂商增加了HDFS(分布式文件存储)连通性,而Hortonworks公司提出了Ozone项目(Hadoop对象存储环境),说明所有这些系统的可能性融合。最终,HDFS只是一个访问法。

这一时期可能是三波浪潮中最为活跃的时期,包含了绝大多数的开源解决方案。

在2000年,全球只有四款产品存在——FilePool, Bycast, Evertrust和Permabit。现在全部销声匿迹——三家被收购(一些产品仍在进行开发,比如NetApp StorageGRID来自Bycast),Permabit在2011年停产。2010年,约有超过30款产品,其中包含一些开源产品。而现在,因为开源,市场上有超过45个系统发售。

而开源始于2004年Ceph,在2008年加速前行,现在有16个开源系统包含在上述的45个系统中。

收购方面,近几年来对成立五年以上的公司进行收购已然屡见不鲜。这在上图有了极好地表现。最大的收购案就是IBM在尝试竞购Amplidata无果之后拿下了Cleversafe。

经验汇总

从这段CAS与对象存储发展进程里得出的经验教训:

HTTP已经证实了它在存储即传输协议中的价值;

S3成为实际意义上的市场标准;

采用x86商用服务器存储是现实的,这个软件定义存储的出现已证实。而纠删码是一个必须条件,尤其在大规模环境;

开源是现实的,它可以更方便快速地应用于高容量系统;

另外,不要忘记文件,它始终存在;

微软除了Azure完全没存在感;

Veritas,长期数据和存储管理巨头,从赛门铁克拆分之后保持独立状态,也因为缺乏产品而被踢出局;

最后,我们可以重新审视小型厂商和团队的创新。存储对这一规则也非例外。