`
gongmingwind
  • 浏览: 588486 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

分布式文件系统学习1-搜集点资料

阅读更多
先列举几个比较常用的:
FastDFS  --国人开发的一个开源系统
参考:http://blog.csdn.net/phphot/archive/2008/07/26/2714592.aspx

TFS (Taobao File System)-淘宝自主研发的文件系统,今年9月份会开源
参考:http://www.enet.com.cn/article/2010/0709/A20100709684307.shtml


hadoop
Yahoo!在06年雇佣Doug Cotting,希望通过支持Hadoop来提高其计算能力,以对抗Google的GFS。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS放宽了POSIX的要求,允许以流的形式访问文件系统中的数据, HDFS提供了很强的failover,互为备份和高可靠性的分布式文件系统。
HadOOP的使用者有Yahoo, Facebook和Amazon EC2, Amazon S3。我们看到hadoop的logo是个小象,可见项目组对这个项目将来的预期。

Hadoop的另一目标是map-reduce计算。随着双核,多核甚至Stanford在做的1024核的出现,未来的编程重点会逐渐从OOP转向COP(concurrency-oriented programming)。而如何让程序员更简单地编写并行化程序,充分利用多核甚至分布式系统的计算能力,成为了很多研究的热点。Map Reduce就是在这种情况下出现的。

Mogile FS
MogileFS由memcahed的开发公司danga一款perl开发的产品,目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS提供了自动的文件同步和备份,分布式存取,做到了底层文件系统透明,简单访问的目的。同时mogileFS有php扩展模块,方便php对文件系统的操作。

Hadoop和MogileFS都只适合一次写入,多次读的文件.并是大文件. 其中MogileFS相对对于小文件比较合适,适合用于图片服务器
参考:mogileFS分布式文件存储解决方案 http://shake863.iteye.com/blog/240160
几个DFS分布式文件系统:http://www.jefflei.com/post/1052.html
分享到:
评论

相关推荐

    分布式文件系统经典实例-mapreduce-统计字符数

    分布式文件系统经典实例——MapReduce:统计字符数 在大数据处理领域,MapReduce是一种广泛使用的编程模型,由Google提出并应用于大规模数据集的并行计算。这个实例将深入讲解如何利用MapReduce框架来统计文本中的...

    cpp-百度自己的分布式文件系统BaiduFileSystemBFS

    通过阅读源码,我们可以学习到如何设计和实现一个高效、可靠的分布式文件系统,以及如何在C/C++环境中集成和使用这样的系统。 总之,Baidu FileSystem(BFS)是百度为了满足大规模数据处理需求而构建的分布式文件...

    Ceph分布式文件系统 v15.2.7-源码.zip

    Ceph分布式文件系统是开源的、高性能的存储解决方案,它被设计用来提供对象存储、块存储和文件系统接口。在v15.2.7版本中,Ceph继续强化其可靠性、性能和功能,为云服务提供商、企业和研究机构提供了灵活且可扩展的...

    java分布式日志系统.zip

    综上所述,Java分布式日志系统涉及了日志生成、收集、存储和分析等多个环节,理解和掌握这些知识点对于优化分布式应用的运维和故障排查至关重要。通过深入学习和实践,我们可以构建出高效、可靠的日志管理体系。

    分布式温度采集系统文档资料收集,含中英文文档

    综上所述,这些文档资料覆盖了分布式温度采集系统的设计、实现、通信协议和实际应用等多个方面,为读者提供了丰富的学习资源,有助于理解并构建自己的温度监控系统。通过深入研究这些文档,不仅可以掌握STM32、ARM等...

    hadoop分布式文件系统源代码详细解析.pdf

    《Hadoop分布式文件系统源代码详细解析》 在IT领域,分布式计算已成为处理海量数据的核心技术,而Hadoop作为开源的分布式计算框架,其分布式文件系统(HDFS)更是其中的关键组成部分。本解析将深入Hadoop的源代码,...

    Java分布式文件检索系统源码.zip

    Java分布式文件检索系统是一种在大型网络环境中实现高效、可扩展的文件查找技术。它利用Java编程语言的强大功能,结合分布式计算的理念,将文件检索任务分散到多台服务器上,以提高搜索性能和处理大量数据的能力。这...

    Python-分布式系统资源大列表

    此外,分布式锁、分布式任务队列如Celery、分布式调度器如Airflow和Luigi,以及分布式文件系统如HDFS等,都是Python开发者在构建分布式系统时可能会用到的工具和库。 最后,学习和掌握这些资源需要时间和实践,建议...

    分布式日志查询系统-BeanWatch.rar

    2. **高效存储**:为了处理海量日志,BeanWatch可能采用时间序列数据库(如InfluxDB)或分布式文件系统(如HDFS)来存储日志,这些系统都设计有高效的查询和存储策略。 3. **查询与过滤**:BeanWatch提供了强大的...

    hadoop大型电商分布式系统实践视频-2

    1. **HDFS(Hadoop Distributed File System)**:一种分布式文件系统,设计用于存储大规模数据集,并提供高吞吐量的数据访问。 2. **MapReduce**:一个分布式计算模型,用于处理和生成大规模数据集。MapReduce程序...

    Java分布式应用学习笔记

    Hadoop HDFS提供了分布式文件系统,而Apache Cassandra和MongoDB则提供了分布式NoSQL数据库解决方案。此外,分布式缓存系统如Redis和Hazelcast可提高系统的响应速度。 5. 分布式事务处理 在分布式环境中,保证事务...

    大规模分布式系统架构与设计实战.完整版

    2. 分布式文件系统:如HDFS,提供高吞吐量的数据访问,适合大数据处理。 3. NoSQL数据库:如MongoDB、Redis,适应非结构化数据存储和快速查询。 四、分布式计算 1. MapReduce:Google提出的批量处理模型,用于大...

    Node.js-基于HeadlessChrome开发分布式爬虫

    在IT行业中,Node.js是一个非常流行的JavaScript...开发者可以借此学习到如何处理复杂的网络请求,理解浏览器自动化,以及掌握分布式系统的设计和实现。此外,通过实际操作,还能提升解决实际问题和优化性能的能力。

    基于Spark Streaming将图片以流的方式写入HDFS分布式文件系统.zip

    标题 "基于Spark Streaming将图片以流的方式写入HDFS分布式文件系统" 提供了几个关键知识点,包括Spark Streaming、图片处理以及HDFS分布式文件系统。接下来,我们将详细探讨这些技术及其应用。 1. Spark Streaming...

    基于hadoop+hbase+springboot实现分布式网盘系统.zip

    在构建分布式网盘系统时,通常会涉及到多个技术栈,如大数据处理框架Hadoop、分布式数据库HBase以及微服务开发框架Spring Boot。本项目“基于hadoop+hbase+springboot实现分布式网盘系统”旨在利用这些技术搭建一个...

    XXL-MQ是一款轻量级分布式消息队列支持串行并行和广播等多种消息模型

    1. **分布式设计**:XXL-MQ支持分布式部署,可以水平扩展,通过增加节点来应对高并发场景,保证系统的可用性和稳定性。 2. **多种消息模型**:该系统提供了串行、并行和广播等多种消息模型,满足不同业务需求。串行...

    基于Q-learning的分布式自适应拓扑稳定性算法.pdf

    文献[1]、[3]、[4]、[5]、[6]分别提出了基于接收信号强度指示(RSSI)、自适应神经模糊系统、深度学习或机器学习方法来进行节点的运动轨迹预测或链路质量预测,以选择最短可靠路径进行信息传输。这些研究为基于Q-...

Global site tag (gtag.js) - Google Analytics