数据湖架构面向多数据源的信息存储,包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。但数据湖架构可不仅仅是一个巨大的磁盘而已。
尽管IT部门起初更多担忧的是数据湖的成本,但数据持久性和安全却是需要优先考虑的因素。很多选择都能交付一个合理的成本,但并非所有都能满足数据湖的长期存储需求。挑战就在于数据湖中很多数据永远不会删除。这种数据的价值在于它要那来分析以及和年复一年的数据进行比对,这将抵消其容量成本。
这就是所谓的数据持久性——对于那种一经存储未来5-10年都有价值的数据,它必须是可读的。所有形式的介质都将随时间推移降级。数据湖存储系统必须通过持续的检查避免这种降级。如果发现有损坏或降级的数据集,系统就会利用复制或纠删码制造副本。
在数据湖架构中,信息安全作为另一项挑战往往被人忽视。相比于其它,这种类型的存储安全要更加重要。数据湖架构从定义上看是将所有的鸡蛋放在一个篮子中。而如果其中一个存储库的安全被破坏,那么未知方将可能访问所有数据。很多数据都以已于读取的格式存储,像是JPEG、PDF文件——如果你的数据湖架构不够安全,那么信息损失很容易。
因此建议实现多个级别的安全控制,例如:
加密数据湖中所有数据。由数据类别和单独的键值生成的加密将有效的限制数据泄漏,并不影响应用访问。
数据湖中所有数据副本应离线存储于另一位置。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
作者
作为Storage Switzerland的主席和创始人,拥有超过25年的美国数据中心存储解决方案经验,见证了RAID、NAS和SAN等技术的诞生,记录了多数据中心、虚拟化、云服务和用户移动性对存储实践的影响。是目前现代数据中心唯一有资格提供有关备份、恢复和数据保护的深刻见解的专家。由于他丰富和宝贵的经验,他也成为TechTarget出版物的贡献者。
相关推荐
-
紫光西部数据合资公司南京正式成立
9月初,紫光集团旗下紫光股份与美国存储公司西部数据于中国南京正式成立合资公司紫光西部数据(UWD)。合资公司的控股组成为紫光股份持股51%,西部数据持股49%。
-
面向大数据分析 NetApp推入门闪存阵列E2800
当前,客户可订购NetApp E2800存储产品的混合阵列和全闪存阵列了。而最新的SANtricity OS升级包含了在NetApp阵列上定义逻辑数据湖的工具。
-
投资数据湖 企业亮起哪些信号灯?
满足“信息一代”的需求,对企业来说至关重要。数据湖能整理、存储并分析海量数据,拥有变革业务的巨大能量。那么企业又该何时扩大规模,投资数据湖?
-
轻松备份虚拟机
对于大多数公司而言,备份仍然涉及到重大的基础设施和不断增加的复杂性和成本。此外,服务器虚拟化使备份更加困难,促使公司考虑虚拟机专用的备份软件产品。