爱数一体化容灾技术——重复数据删除
爱数 发表于:12年06月20日 10:30 [来稿] DOIT.com.cn
基于数据类型优化的重删技术
早在2008年,爱数就在重复数据删除技术领域取得相关专利,与其他重复数据删除技术不同之处在于,爱数一体化容灾技术平台所采用的重复数据删除有三个主要核心优势:
1. 基于数据类型的指纹识别:通常的做法是基于全局的指纹库识别进行重复数据块的识别,但是我们发现,不同类型的数据,本身的重复率就不高,比如办公文档类型 和视频图片类型,测试数据表明,混合类型的数据重删率与这种基于数据类型的指纹识别相比,重删率基本相当,但是性能却有不及后者。正是通过这种小改进,获 得了极大的性能和效率的提升。当然,类型识别的基础是OFS对象文件系统提供的全局对象管理算法。
2. 可动态适应的数据分块技术:通过上述基于数据类型的全局指纹识别,爱数重删技术采用了动态分块技术,也就是可以根据类型、源端对象大小进行动态调整,这种 情况比较适合于数据对象大小不一的情况下,重删效果的提升,比如,在大量小数据的场合下,和少量大数据的场合下,二者采用同样分块大小,对于性能和效果表 现都不是很理想,而采用动态分块技术,可以针对不同范围内的数据对象进行适应性分块,使得匹配概率和效率更高。
3. 面向一体化容灾的重删:爱数一体化容灾技术体系下的重删技术,可以适用于定时备份、CDP实时备份和应用容灾,对于定时备份,显而易见,而对于CDP实时 备份和应用容灾,由于实时数据堆积,存储容量、初始化的性能,都是极大的调整,通过重删,提升的正是在实时和容灾数据初始化的性能和空间的有效利用率。
这种基于数据类型优化的源端重复数据删除,对于用户而言,可以根据实际情况进行数据类型和数据块分块范围进行优化,对于高端用户而言,其灵活性和可配置性有了更优的效果。