赛思信安(Scidata)针对目前存储数据量爆炸式增长,数据存储容量需求不断扩充的形势,在国内率先推出了高效存储优化系统,该系统符合国家环保节能的政策,为企业提供了一种数据存储管理的新方式。
赛思信安Scidata存储优化软件在数据块级别实现重复内容的全局消冗,存储系统的容量优化,提高存储效率,节省存储空间,降低能源消耗,实现海量数据的绿色存储。Scidata存储优化软件的消冗率可达30:1甚至更高,能够有效的节省存储空间。
Scidata存储优化系统功能:
- 系统采用变长和定长结合的高效的数据块消冗方法,消冗效率和读取速率完美平衡,消冗比率达到国际一流水平。
- 系统采用三级缓存机制、局部命中算法、线性哈希算法,系统消冗速度高,对读取速度影响小于10%。
- 支持基于文件系统的数据透明访问,系统移植简单,无需改动应用程序就可支持数据消冗。
- 支持在线和离线数据消冗,可用于不同的应用环境。
- 系统消冗参数可调节,可以根据不同的应用,最大限度的提高消冗率和消冗效率 。
- 系统运行稳定,结构简单,有很强的容错处理能力。
Scidata存储优化系统关键技术
1.并行层次式重复数据消除技术
针对重复数据消除率与重复数据消除速率的矛盾问题,赛思首次研发了并行层次式的重复数据消除架构。该策略的基本思路是首先进行粗粒度的重复数据消除,然后进行细粒度的重复数据消除,采用粗粒度重复数据消除可以从高层次快速的筛选掉重复的数据内容,减少细粒度重复数据消除的数据量,从而在一定程度上提高重复数据消除率。同时,对于重复数据消除的关键环节采用了并行化,充分利用系统中的多核资源,有效提高重复数据消除速率。
2.动态跳跃和带双因子的数据块动态划分策略
该机制结合了定长分块速度快与变长分块重复数据消除率高的优势,并在此基础上做了如下改进:增加了阈值与过滤,并不需要扫描所有的数据,加快了处理速度;引入了双因子和最大块长度限制,使等式满足的概率增加,在一定程度增大了重复数据消除率。
3.基于动态惰性扩充的数据特征信息组织机制
当数据特征信息量比较大时,发生扩充的次数就比较多,如果每次特征信息插入触发扩充条件时,都进行扩充操作,将会使扩充操作非常频繁,严重影响系统性能。针对该问题,我们研发了惰性扩充机制,基本思想是当满足扩充条件时,先在内存缓存,缓存到一定条件时,再将特征信息统一进行扩充。通过这种机制可以有效地减少扩充的次数,提高数据特征信息的管理效率。
赛思信安为企业提供绿色节能和低成本的可靠地存储方案,使企业降低存储投入,减少运维成本,提高存储使用效率,摆脱大数据量带来的烦恼。