1.HDFS
其实在真正搞过分布式文件系统的人看来,HDFS不能算得上是真正的文件系统。因为他实在太简单,太粗糙。甚至连搞个append接口都搞了老半天,到现在应该还不支持随机读写之类的文件系统最基本的功能。他最大的优势是借助hadoop这个生态系统得以比较稳定。另外还有一个优势就是他是用java写的,这样一帮java程序员也可以号称自己在搞文件系统了。
HDFS到现在应该还是不是真正意义上的分布式,他的nameode的federation相当于静态目录,虽然共享存储池,但是namespace是不共享的。
2.Gluster
Gluster最大的优势在于他继承了传统文件系统的posix接口,而且表现比较稳定。虽然他的元数据的分布式hash带来很多性能上的问题,但如果非要用文件系统接口的似乎也没有更好的选择。
但是Gluster用的是c/c++,对于很多只想拿来就用不想踩坑的同学无疑是个负担,万一出了问题不是很容易解决。
3.Swift
Swift的流行得益于openstack,它应该是目前最流行的对象存储系统,印象中有在生产环节跑到上百PB的case。但总感觉这玩意用python写的,有点粗糙,似乎就是一堆脚本的拼凑。
4.Ceph
最后不得不谈一下笔者的最爱,Ceph。初次接触他是在2012年初。它最大的优势就是同时支持三种存储接口,是真正意义上的融合存储。但它mds的设计过于学术,似乎很难有稳定下来的一天。Ceph真正大火也是得益于跟opestack的结合,现在它已经是openstack快存储的不二之选。它的对象存储也还算稳定,dreamhost,CERN包括最近的yahoo都有PB级的生产级别使用。
总结下来HDFS如果不是离线的大数据计算,应该是最没吸引力的。如果是非要用文件系统接口,那只能是gluster。如果单纯的对象存储推荐swift。如果考虑更好的兼容S3或者跟openstack相结合,当然是ceph。
Gluster和Ceph都是c/c++,对于java和pyhon大行其道的今天,选择要慎重。但如果有点情怀特别是追求底层的性能,可以挑战一下ceph。
http://www.kuqin.com/shuoit/20150512/345990.html
相关推荐
分布式存储系统:HDFS:HDFS数据存储机制.docx
分布式存储系统:HDFS:HDFS性能调优.docx
分布式存储系统:HDFS:HDFS安全机制.docx
分布式存储系统:HDFS:HDFS高级特性:HA.docx
分布式存储系统:HDFS:HDFS高级特性:Federation.docx
分布式存储系统:HDFS:HDFS数据块管理.docx
分布式存储系统:HDFS:HDFS架构与原理.docx
分布式存储系统:HDFS:HDFS高级特性:ErasureCoding.docx
分布式存储系统:HDFS:HDFS容错与恢复机制.docx
分布式存储系统:HDFS:HDFS数据流读取流程.docx
分布式存储系统:HDFS:HDFS命名空间管理技术教程.docx
分布式存储系统:HDFS:HDFS生态系统:Hadoop工具与应用.docx
分布式存储系统:HDFS:HDFS数据流写入流程技术教程.docx
分布式存储系统:HDFS:分布式存储系统概论.docx
分布式存储系统:HDFS与MapReduce集成教程.docx
总结来说,分布式文件系统HDFS的设计兼顾了硬件成本、数据处理效率和容错性,虽然有一些局限性,但在存储和处理大规模数据集方面具有显著的优势。HDFS的普及和应用为大数据处理技术提供了坚实的基础,极大地推动了...
分布式文件系统HDFS 分布式文件系统HDFS(Hadoop Distributed File System...HDFS是分布式文件系统的代表,提供了高性能、可靠性和可扩展性的存储解决方案,广泛应用于大数据存储和处理、分布式计算和数据分析等领域。
史上最全大数据技术全套教程,包括: 分布式存储系统 大数据基础 大数据处理框架 大数据管理与监控 实时计算 数据仓库 数据分析工具 数据湖 数据集成工具 消息队列 等流行技术的系列教程
Hadoop是一个开源的分布式计算平台,以其高可靠性、高扩展性和高效性处理大规模数据集而闻名。Hadoop的核心组件HDFS(Hadoop Distributed File System)是实现数据分布式存储的关键。本文将详细探讨Hadoop如何通过...
它是一个分布式文件系统,能够处理大量数据的存储和处理需求。 HDFS架构 HDFS的架构主要包括NameNode和DataNode两个组件。NameNode是Master节点,负责管理命名空间、元数据和Block副本策略。DataNode是Slave节点,...