纠删码:确保RAID失效后的存储耐用性
IT168 发表于:11年08月19日 09:15 [转载] IT168
然后这些纠删码码块分布在存储系统中的各个驱动器上,这样即使一个或多个硬盘发生故障,存储系统也能够重新恢复损坏数据。
更为重要的是,我们不仅需要注意数据的有效性,还要注意底层的存储效率。现在有一些适用于存储系统的纠删码码技术产品,也有一些较新的衍生版,如喷泉码、飓风码或在线纠删码。
每一种在应对多组件故障、不可恢复的读取错误和损坏的数据保护方面都具有独特的优点,大多数软件在系统元件故障时,还提供数据自动修复功能。这些系统还能够提供非常高等级的存储数据可用性,这就意味着其可大大降低每年的数据丢失率。
在目前的云存储环境中有一个共同的数据保护机制,即保持文件的多个副本(注:例如目前流行的“三副本云服务”)。云能够提供高等级的存储可用性,但这也将花费三倍的潜在资源和运营成本(硬盘、电能、散热、占地面积和成本支出)。
如果是300MB,就无需考虑这个问题了。当100PB有效空间需要300PB未使用空间来确保可用性的时候,它可能会变成一个限制因素。投入成本事实上要比RAID-6高(用200%的存储经费做三个备份 VS 用150%的经费使用RAID-6)
有了纠删码技术,就可以实现相对低成本下的高等级存储可用性了。在安装启动模式中,保护数据在16磁盘4次故障的情况下可用需要经费的60%。也就是说,每PB的有效空间需要1.6PB的未使用空间。
和其他方法相比,它可以有效地节省运行成本。使用了纠删码的存储系统因此有机会以更经济的方式将数据存储到高密度磁盘驱动器上,并保证数据的可靠性和持久性 。
Amplidata成立2008年,由当时一个存储领域退休人员组成的团队开始这项技术的研发,后来基于该项技术建立了AmpliStor—— 一个旨在解决散乱数据存储问题的优化目标存储系统。该技术的核心是以最低的成本提供最高的存储可靠性和可读取水平。AmpliStor可以扩展到P字节,和传统方法相比,保护数据所需的存储容量要低50-70%。