Alluxio存储平台,切入大数据市场
刚刚兴起的软件供应商Alluxi公司正试图在大数据存储市场搞个大新闻。
Alluxio是由麻省理工学院和加利福尼亚大学伯克利分校的研究人员开发的分布式虚拟存储层。其销售商(前身是Tachyon)声称他们的开放源码的平台允许任何计算框架跨越不同的存储系统以内存级别的速度访问应用程序数据。
Alluxio将空闲服务器内存转换为存储容量,用于处理Apache Spark和其他大数据负载。企业可以利用Alluxio从基于分布式计算框架的高性能应用程序平台中榨取更多价值。
Alluxio的设计目标是使用基于磁盘的批处理方法替代大数据体系结构中的存储。Alluxio软件被安装在计算层与底层存储之间,从而实现虚拟化的文件和对象存储。内存被划分成为柱状数据格式,替代传统的批处理方式。
不同的存储系统都被虚拟化到同一个统一命名空间下。读取和写入首先在内存中完成,同时热文件在内存中缓存,不活跃的数据分层迁移到后端存储。
软件提供两个版本:收费的Alluxio企业版和免费的Alluxio社区版。企业版的定价基于节点的数目,提供Kerberos身份验证和数据复制功能来确保高可用性。
Alluxio并不会直接跨集群复制文件存储。相反,数据(和元数据)的变更都是日志式的,并在所有节点的内存中保存记录。这种模式可以确保空闲节点在主服务器节点无法运作时能根据内存中的未完成日志记录立即接管后续任务。
Alluxio软件包括支持Amazon Simple Storage Service(S3)和Swift的对象存储接口。除了支持Apache数据库,文件存储功能还支持Hadoop分布式文件系统/MapReduce和Redhat GFS横向扩展NAS。
为获得最佳性能,原厂推荐在处理大数据作业的计算节点本机安装Alluxio软件。该系统只需在已有计算群集中增添硬件节点即可完成扩展。
我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。
我原创,你原创,我们的内容世界才会更加精彩!
【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】
微信公众号

TechTarget
官方微博

TechTarget中国
相关推荐
-
主流对象存储供应商产品差异对比
我们在第一部分《三大主流对象存储供应商及产品介绍》中介绍了三家主流的对象存储供应商情况,包括Caringo,DataDirect Networks和Dell EMC。本文介绍更多主流对象存储供应商及产品。
-
三大主流对象存储供应商及产品介绍
本文将带读者一起探索领先的对象存储系统是如何进行访问,如何与云集成,以及它们提供的数据安全性和各种部署选项。
-
存储经理人2017年8月刊:分解技术大揭秘
《存储经理人》2017年8月刊重点关注分解技术,分解的理念在于用大量计算机来创建出独立的资源池,然后根据需要分配适当的资源组合,从而为各个应用程序提供相应服务。另外,混合云存储将工作负载可选择的部署范围扩展到多个云,并实现令人信服的使用场景,例如异地备份、灾难恢复和云负载爆发。本期电子杂志还将讨论数据中心的硬盘和SSD共存问题。
-
企业对象存储准备好了吗?
相比云端,对象存储的优势对于作内部存储使用的企业而言更为诱人,供应商正在克服其缺点。