新存储技术革命性处理数据泛滥问题
wangfei 发表于:13年05月28日 10:28 [编译] DOIT.com.cn
软件加商品硬盘
在线营销SaaS供应商Constant Contact也打算由所有权硬件和软件解决方案转向软件控制的商品硬盘。
公司首席技术官斯特凡皮舍(Stefan Piesche)称:“当我在3年半之前加入公司的时候,我们扩展存储容量的主要方法是购买数量更多、速度更快的存储设备和数据库服务器。”虽然存储需求仍以每年15%到25%的速度递增,但是为了降低成本,他打算从基于3PAR的SAN设备的IBM DB2数据库转向基于戴尔服务器、商品磁盘和Fusion-io闪存卡的开源MySQL和Cassandra NoSQL数据库。
他说,这个新的平台不但在速度上比之前的存储平台快了不止一个数量级,而且在性能、可用率和灾难恢复上也有明显地提升,而且不会增加管理难度和成本。新平台可以将数据写入六个存储节点,从而提高存储性能,这意味着同样的数据会保留多份副本。 然而皮舍同时也说,商品硬盘和服务器在价格上具有非常显著的优势。
他还指出,他的客户不会因为储存在那些副本中的营销数据在存取上出现几毫秒的延时而蒙受损失,但是对于价格一直处于变化之中的财务交易系统来说,情况可能并不是那样。
他说,分拆数据库也有助于Constant Contact轻松实现扩容。他说:“我们可以将客户分组分批地放在不同的数据库上,而那些数据库通常是具有相同缩略图的同一数据库的多个实例。 我们希望那些数据库是吻合的,而且可以在商品硬件上运行,以降低我们的经营成本,因此再弄一个新的数据库其实是毫无实际意义的。公司现有5万多客户,我们增加了两台基于MySQL的商品数据库服务器,结果用户们的性能不会受到其他用户的影响。”
这个领域的另一家厂商CommVault称,它的Simpana软件平台可以将存储成本最多削减50%,将管理间接费最多削减80%,将每年的支持服务费用最多削减35%,因为需要储存的数据副本总数以及需要购买和维护的存储应用程序的数量都比以前减少了。
Sanbolic声称,它的Melio 5数据管理平台可以提供高可用率、基于共享数据服务器群集的应用扩展性、支持各种工作负载中的任何大小尺寸的文件的快速存取等功能,而且可以扩展成超过2000个物理或虚拟结点以及最多6.5万台存储设备的规模。它的Latency Targeted Allocator软件允许Melio平台在存储阵列内部共享服务器一端的闪存资源和固态硬盘,还可以跨结点共享传统硬盘。 公司首席执行官、联合创始人Momchil Michailov称,这就避免了单一故障点和数据及应用仓库数据存取难的问题。
有些新厂商将它们的软件与配备硬盘和处理器的物理硬件包装在一起。Gridstore的存储设备可以将存储控制器和数据虚拟化,以消除单一故障点的问题,并且让系统可以更快地从许多服务器中读取并行数据。 这会令控制器的数量增加,使用那些没有被用到的计算能力来提高性能和容量。 然而,它现在不仅支持Windows,而且还支持基于文件的存储方案。
另一种基于软件的扩展方案是将数据分割成无数的小块,分布在许多物理数据库上。Cleversafe的dsNet技术与PB级容量的存储设备配套使用最好,而且那些存储数据全部是由50到100KB的对象组成的。 公司总裁兼首席执行官克里斯格莱德温(Chris Gladwin)称,这个解决方案最适用于在线照片共享等应用。
下一个是什么
随着硬盘的容量越来越大速度越来越快,闪存硬盘的容量和可靠性也在增加,加上开源存储技术日渐成熟,某些业内观察员发现企业组织处理数据增长的方法也发生了根本性的变化。
随着新的非易失性存储技术得到推广采用,在固态硬盘和传统硬盘之间对数据进行分级的需求也没有以前那么强烈了,因为新技术在成本上的竞争力已经胜过了更为高端的光纤通道和SAS硬盘。但是谢蒂认为,容量相对较大、价格相对较低的SATA硬盘仍有用武之地,但是装配上的复杂性和不同的软件接口会导致用户不想在同一个系统中使用混合存储设备。
Hitachi Data Systems的首席技术官Hu Yoshida称,闪存硬盘的价格将在3到5年内降低到与高性能硬盘相当的价位水平上。他说,它们的竞争力已经相当了,传统硬盘的容量因为短行程(short-stroking)和在RAID数据保护配置下跨多磁盘写入数据而减少了一些。
但是即便是商品硬盘的存取速度也会增加,因为厂商们在那些产品上添加了更多的高速缓存。希捷预计这种混合硬盘将在2015年之前被应用到它的大多数产品线中。
云存储服务将提供速度较慢但价格极其低廉的归档服务,以降低内部存储设备的存储负荷。例如,Amazon Glacier服务的价格低至每月每GB 1美分。 顾问公司StorageIO的创始人Greg Schulz称,虽然检索数据可能要花3到5个小时的时间,但那可能并不会比从磁带存储器中恢复数据所花的时间更长。从价格方面来说,Glacier的竞争力不会比磁带差。
格莱德温称:“对象存储技术可以通过消除分级文件系统的需求来降低存储成本和复杂性。在一个非常庞大的数据存储系统中,运行文件系统需要增加服务器的数量,而那会增加能源成本、占地空间和直接成本。 他说,利用对象存储技术,象社交媒体网站那样的应用不用使用文件系统也能搜索好友。
与此同时,IT商店将继续青睐具有成本效益、由廉价硬件和廉价开源软件的云解决方案。
例如,Constant Contact认为私有存储云也许会使用开源软件来降低成本和提供无限的可扩展性。皮舍说,使用Cassandra,他愿意将存储群集分散到很多分布式数据中心以实现灾难恢复的功能,这样就不会产生任何的许可证费用,而且不需要任何复杂的设置和人工干预。
他需要的复制功能还没有实现,但是他必须不断去寻找,因为正如舒尔茨所说的,对于绝大多数人来说,绝对不会出现数据减少的情况。