影响重复数据删除效率因素

    　重复数据删除的客户价值是多方面的，但是最显著的优点是解决了一直困扰备份恢复业界多年的“容量膨胀”问题，因为重复数据删除可以在后端大为减少备份数据量。

    　见下图图示：该图中以相同颜色的块表示重复数据块。重复数据删除的效率取决于应用和数据类型，就像图示中具有相同颜色的块除保留一个外，其余的都会被过滤掉。

    　重复数据删除的处理粒度越细，则重复数据删除的效率越高。一般的重复数据删除是在文件级实现的，虽然有减少备份数据的作用但其效率明显不如在字节级实现的重复数据删除。同样，在块级实现的重复数据删除比字节级实现的效率更高。

    　我们通过以下的例子来说明处理粒度对重复数据删除而言的重要性：我们创建一个1MB的PPT演示文档，然后以邮件附件形式将其发送给20位员工，在传统备份环境下（没有重复数据删除），虽然文件没有任何变化，但每个附件都会在每晚完全备份过程中被全部备份，耗费不必要的磁盘容量（20×1MB）。即使是小公司，考虑到磁盘物理容量、功率和冷却等情况，此冗余成本也颇为可观。然而，文件级重复数据删除只保存一份PowerPoint文档备份，所有其他附件（如重复的拷贝）都被“指针”替代，从而释放磁盘空间容量，并在客户需要的情况下延长保留时长。

    　更多粒度的重复删除方法-基于字节级和块级的重复数据删除作了进一步的优化，它将1MB的PPT演示文档看成是由很多的数据块或字节单元组合而成，通过查看构成新1MB文件的每个片段与已经存储的数据块或字节单元进行比较，在新文件中用指针替代重复元素，而不用重新存储。

    　除了处理粒度之外，影响重复数据删除比的因素还有数据类型、数据的变化率以及数据的保留时间等等，这些都会影响实际的重 复数据删除效率。根据ESG实验室对几种不同的重复数据技术的测试结果来看，在不考虑处理粒度的情况下，基本上都能达到10倍或20倍的重复数据删除效率。

微信公众号

TechTarget

官方微博

TechTarget中国