据IDC分析,高性能计算(HPC)服务器市场总额到2012年将达到156亿美元。然而,对于存储管理员来说,这却意味着他们将面临前所未有的备份挑战,这些挑战来自于HPC提出的一些特殊要求。 在备份和灾难恢复方面,高性能计算将带来两大难题:数据卷和文件卷。 HPC应用在处理大型文件时会带来非常大的工作量或数据卷。
Gartner分析师David Russell说道:“传统的备份方法可能不再适用或者需要的时间太长。比如,有些HPC文件可能达到PB级。” 有些HPC应用还会生成大量的文件——据Russell称有几百万个。通过操作系统和文件系统来看哪些文件发生了数据变更是个非常艰巨的任务。
要将这些数据传输……
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
据IDC分析,高性能计算(HPC)服务器市场总额到2012年将达到156亿美元。然而,对于存储管理员来说,这却意味着他们将面临前所未有的备份挑战,这些挑战来自于HPC提出的一些特殊要求。
在备份和灾难恢复方面,高性能计算将带来两大难题:数据卷和文件卷。
HPC应用在处理大型文件时会带来非常大的工作量或数据卷。Gartner分析师David Russell说道:“传统的备份方法可能不再适用或者需要的时间太长。比如,有些HPC文件可能达到PB级。”
有些HPC应用还会生成大量的文件——据Russell称有几百万个。通过操作系统和文件系统来看哪些文件发生了数据变更是个非常艰巨的任务。要将这些数据传输到磁盘,或者说这些数据要穿过服务器和交换机可能需要的时间太长。总之,在HPC任务中直接应用传统备份方法无异于给自己带来灾难。
Russell还说到,要想替代传统的备份工具,HPC管理员可以利用基于阵列的快照技术和重复数据删除等远程拷贝技术。然而,并不是所有工作量都可以受益于重复数据删除。例如,已经被压缩的镜像文件通常无法被去重。
此外,有些提供数据压缩技术的厂商(如Ocarina Networks)已经找到了处理巨型文件和查找重复数据的办法,而且可能还有办法进一步改善这个过程。
但是,HPC环境下文件数量大的问题仍然是备份管理员的一大难题。“如果你有100万个文件,要读取这些文件会需要很长的时间。”Russell说,“有些HPC应用做一次全备份要花30个小时的时间,其中28个小时用于扫描文件、看哪些文件发生了变更。”
在没有资源限制的情况下,存储管理员至少还必须有必要的磁盘、电能和地面空间来处理所有这些备份任务。由于HPC环境通常是向外扩展的,有大量的服务器在处理数据,这让备份工作更加艰难。这意味着备份工作必须高度协调统一,因为你会希望不同服务器有不同的时间点。备份的协同可以通过一些强制性措施来实现,比如刷新缓存和设置自动校验服务器。
HPC允许短时间的停机
Mesabi集团分析师David Hill指出,很多HPC应用中少量的停机时间对于用户来说根本察觉不到。因为,很多计算密集型任务实际上是批处理任务。也就是说,只有整个任务完成用户才能看到结果,一个多小时才能完成的任务中间耽误几分钟很难觉察出来。
据Hill表示,这些类型的任务真正需要的是校验点/重启功能,也就是将计算环境的内存状态周期性地写入磁盘以便重启。
Hill还说到,根据时效性和数据价值的不同,执行高性能计算的公司可以考虑active-active故障转移策略,或者本地持续数据保护(CDP)以及虚拟磁带库(VTL)和标准备份-恢复软件包。
翻译
相关推荐
-
聚焦云端IT弹性 Zerto布局中国市场
在IT弹性中有几大因素:专有云、托管云、公有云、混合云。云用户都需要知道如何保护、如何管理、如何迁移,以及在需要的时候如何恢复。那么,如何创建未来一代的IT弹性基础设施?
-
亚马逊AWS故障带来的灾难恢复启示
如果你的灾难恢复系统依赖于亚马逊AWS或其它云服务商,你需要确保有一个应对云服务故障的灾难恢复计划。
-
企业BC/DR勿忘IoT风险管理
万物互联背后所带来的安全性问题正在引起业务连续性和灾难恢复专家的关注,他们需要创建出新的风险评估机制,对潜在的业务影响加以分析。
-
预言:未来五年灾难恢复模式的演变
在云平台一统天下之前,备份和灾难恢复市场仍会不断发生改变。组织对于快速灾难恢复的强烈需求正促进着技术革新。