Wikibon研究报告:重复数据删除与数据压缩

日期: 2015-03-18 来源:TechTarget中国

重复数据删除与数据压缩

重复数据删除和压缩已经存在了很长一段时间,最早由微软在PC上引入,而NetApp将其引入存储阵列,现在几乎所有磁盘阵列供应商都会提供此类功能。目前对磁盘阵列的重复数据删除和压缩主要有三大挑战:

1. 重复数据删除和压缩会改变写入数据的大小。最后的数据量可能相差很大,有可能比原始数据更大或更小。这会导致盘上数据的分片存储,加上一些复杂的数据碎片和元数据,这些在低速磁盘都很难管理;

2. 磁盘驱动器对进行了数据缩减后的数据很难支持大量的访问(例如5倍的访问量),除非是一些数据访问率很低的应用(如深度存档应用)。磁盘驱动器的访问密度很低,这意味着,重复数据删除和压缩后的数据性能表现更差;

3. 存储控制器进行数据缩减处理和管理的开销很高,传统的双控制器存储架构本身可能会导致显著的性能影响,特别是与其它存储阵列软件共同作用时,例如数据复制。

Permabit公司为传统的存储阵列推出了高级数据缩减技术,并于最近宣布与EMC、NetApp和其他公司的合作伙伴关系。 Wikibon的研究表明,在混合阵列的闪存部件上使用压缩和重复数据删除功能,是有令人信服的场景和用例的,但在基于磁盘的阵列中却少有应用程序可以做到。

闪存可以支持重复数据删除和压缩的原因是,闪存的访问密度要高得多,比机械硬盘高100倍以上。但存储和阵列控制器的开销仍然很高,因此闪存阵列需要针对性设计以尽可能地减少开销。

关键点:闪存可以将诸如重复数据删除和压缩等功能作为其标准配置,在通往电子数据中心的道路上增加了一个沉甸甸的砝码。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

电子邮件地址不会被公开。 必填项已用*标注

敬请读者发表评论,本站保留删除与本文无关和不雅评论的权力。

相关推荐

  • 存储经理人2017年8月刊:分解技术大揭秘

    《存储经理人》2017年8月刊重点关注分解技术,分解的理念在于用大量计算机来创建出独立的资源池,然后根据需要分配适当的资源组合,从而为各个应用程序提供相应服务。另外,混合云存储将工作负载可选择的部署范围扩展到多个云,并实现令人信服的使用场景,例如异地备份、灾难恢复和云负载爆发。本期电子杂志还将讨论数据中心的硬盘和SSD共存问题。

  • 闪存在企业中的用途原来有这么多

    NVMe协议和NVDIMM,进一步释放了闪存的潜力。随着成本下降(每GB价格不断刷新最低值记录),高性能闪存被越来越多的企业接受,用途也再次发生变化。

  • 最大容量11TB——Memblaze PBlaze5 PCIe NVMe SSD惊艳3D闪存界

    一直在PCIe SSD市场辛勤耕耘的Memblaze正式推出新一代PBlaze5 PCIe NVMe SSD产品,采用企业级3D-TLC NAND,最高容量达11TB,将推动闪存市场实现质的跃迁。

  • 存储经理人2017年6月刊:在融合时代,重新定义存储

    《存储经理人》2017年6月刊重点关注融合时代的存储技术,探讨企业如何做到灵活敏捷,以在由软件定义的存储与数据中心建立起的全新时代保持竞争力。随着成本下降,高性能闪存被越来越多的企业接受,用途也再次发生变化。另外,带你深入了解云灾备,例如在购买灾难恢复服务时,如何权衡预算和功能。最后,海量的数据同样需要管理技巧。