博客首页 → 分布式文件系统

最新文章列表

记一次安装配置fastdfs的过程

本次安装的系统环境为ubuntu 1.下载相关软件 2.安装并配置相关软件 3.验证 4.遇到的问题 1.下载相关软件 安装fastdfs 首先需安装libevent,由于fastdfs本身集成的web功能较弱，所以这里集成了nginx 下载的软件软件地址如下： https://github.com/libevent/libevent/releases/download/rel ...
nginxfastdfs分布式文件系统 
永无止境2313 评论(0) 有1754人浏览 2016-11-20 19:19

FastDFS部署笔记【原创】

为了比对MFS, 在系统中装了FastDFS,以下是部署笔记。 1. 准备机器 Tracker: 192.168.3.127 Tracker: 192.168.3.131 Storage: 192.168.3.142  group1          192.168.3.143  group1 Storage:192.168.3.140  group2          192.168.3.141 ...
FastDFS集群安装分布式文件系统选型 
zhenggm 评论(0) 有1366人浏览 2016-07-20 08:34

MooseFS 3.0部署笔记(2)【原创】

上一篇讲了MFS的安装， 这一篇将文件的恢复。 1. 恢复误删文件（在客户端3.140操作） 1)挂载mfsmeta: mfsmount /mnt/mfsmeta -H 192.168.3.127 -p –m 2)切换到 /mnt/mfsmeta 目录 多了 sustained  trash  两个字目录 3)切换到 trash 字目录下   cd trash   里面包含了删除的文件和undel ...
MFSMooseFS分布式文件系统恢复 
zhenggm 评论(0) 有1270人浏览 2016-07-20 08:27

MooseFS 3.0部署笔记(1)【原创】

写在前面，避免看到的人踩坑。moosefs目前单个文件至少64k，就算你的报文只有1个字节那么大，moosefs还是会把你存成64k的文件。所以对小文件的存储，空间是非常浪费的。 最近公司准备实施分布式文件系统，去年我们有同事尝试过使用FastDFS和HDFS。从使用情况看，HDFS更适合大文件（本人暂时没深入了解）， FastDFS 压测不是很稳定（也许是我们没设置好）。最近有空研究了一下分布式 ...
mfsmooseFs分布式文件系统入门安装 
zhenggm 评论(0) 有2204人浏览 2016-07-20 08:27

FastDFS文件系统实现原理

一，简介        FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载 ...
分布式文件系统 
pandan_xyz 评论(0) 有5509人浏览 2016-01-12 22:03

分布式内存文件系统：Tachyon

Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存储在Tachyon里的文件。Tachyon是架构在最底层的分布式文件系统和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率，减少内存冗余，减少GC时间等。 Tachyon架构         Tachyon的架构是传统的Mast ...
sparktachyon分布式文件系统分布式内存文件系统共享内存 
yangshangchuan 评论(0) 有3976人浏览 2015-04-06 02:50

MFS详解

一、分布式文件系统     分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客 ...
分布式文件系统MFS系统详解MFS构造MFS安装 
student_lp 评论(0) 有3724人浏览 2014-11-21 16:22

分布式文件系统TFS(taobao File System)安装

  一。准备编译环境  请在centos5的环境中安装 gcc编译器为4.1.2 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel subversion automake.noarch libtool.x86_64 readline-devel.x86_64 e2fsprogs-devel.x86_ ...
分布式文件系统TFS 
247687009 评论(0) 有1978人浏览 2014-10-31 16:17

FastDFS+Nginx轻量级分布式文件系统安装使用

一 简介 FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 二 安装
fastDFSLinux分布式文件系统nginx 
247687009 评论(0) 有8630人浏览 2014-05-12 23:14

一致性哈希算法

  参考自：http://blog.csdn.net/wuhuan_wp/article/details/7010071   一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是 ...
分布式文件系统java算法一致性哈希 
MNTMs 评论(1) 有2472人浏览 2014-05-08 14:22

分布式文件系统MFS(moosefs)实现存储共享

[转载自]http://sery.blog.51cto.com/10037/54645    分布式文件系统MFS(moosefs)实现存储共享(第二版) 2010-01-11 16:53:47 标签：分布式 文件系统 MFS moosefs
分布式文件系统 
myeclipse_bj 评论(0) 有958人浏览 2014-04-12 03:03

几种分布式文件系统的测试分析

前些日子调研分布式文件系统的时候，在google上找到了一个很好的测试分析报告，在这里分享给大家，是全英文版的，看起来得耐心点，我主要看了hdfs，moosefs和ceph的。   最好是自己动手搭建一些集群试试。并且多做测试。以便帮助选型。
分布式文件系统hadoophdfsmfsceph 
xiaoyu966 评论(0) 有1108人浏览 2014-03-14 17:55

gluster hash分布(DHT)的工作原理

gluster的hashcode计算完全依赖文件名(文件的filename,不包括各种路径) brick里的每个文件夹的trusted.refungofs.dht属性指定了该文件夹容纳的hashcode的范围,具体如下: trusted.refungofs.dht的前8个数字目前一直是00000001,接着8个数字目前一直是00000000 然后八个数字是起始hash值,最后八个数字是结束hash值 ...
gluster分布式文件系统 
kabike 评论(0) 有2889人浏览 2013-08-28 14:26

golang开源分布式文件系统weed-fs

weedfs，http://code.google.com/p/ weed-fs / go语言，代码很少，3个可执行文件，很强悍 [root@ghost-rider weedfs]# ls weedclient  weedmaster  weedvolume 部署测试， 服务器，192.168.2.100 1.启动master服务： [root@ghost-rider weedfs]# ...
golang分布式文件系统weed-fs 
jimmygan 评论(1) 有15031人浏览 2013-08-20 14:48

GlusterFS的分析与应用【毕业论文】

                  GlusterFS 的分析和应用       [ 论文摘要] 随着互联网发展的深入，数据存储的需求得到了空前的增长。如何利用软件在廉价机器上实现高性能、高容量、高可靠性、高扩展性的存储系统便成了很值得研究的问题。作为一个分布式文件系统， GlusterFS 采用了独特的弹性 hash 算法，实现了没有元数据的非中心式的架构 ...
GlusterFS分布式文件系统HDFS弹性hash算法 
Wesleydeng 评论(1) 有7262人浏览 2012-11-25 23:03

淘宝 TFS 文件系统/分布式文件系统

  淘宝Tfs文件系统安装   一、NS DS 上都安装执行的：   官网地址：http://code.taobao.org/p/tfs/wiki/deploy/ （下载安装）： 1、需要确保安装了automake autoconfig 和 libtool, 使用auotmake --version查看，一般情况下已安装  Yum –y insta ...
分布式文件系统 
muyoufang001 评论(0) 有1513人浏览 2012-11-06 17:49

当下流行的分布式文件系统

　本文对目前数种分布式文件系统进行简单的介绍。当前比较流行的分布式文件系统包括：Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。 　　Lustre（ www.lustre.org ） 　　lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护。 ...
分布式文件系统 
muyoufang001 评论(0) 有907人浏览 2012-10-12 17:29

FastDFS 的安装和配置 修订版

FastDFS Home:http://code.google.com/p/fastdfs/ 1. 安装 http://code.google.com/p/fastdfs/wiki/Setup http://hi.baidu.com/leolance/blog/item/3c273327978ae55f93580703.html 安装libevent (对libevent的版本要求为1.4.x,建议 ...
fastDFS分布式文件系统linux 
Chen.H 评论(0) 有2959人浏览 2012-08-14 13:38

淘宝分布式框架Fourinone2.0正式版发布

淘宝Fourinone2.0提供了一个4合1分布式框架和简单易用的编程api，实现对多台计算机cpu，内存，硬盘的统一利用，从而获取到强大计算能力去解决复杂问题 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(0) 有1908人浏览 2012-06-04 11:03

Fourinone2.0对分布式文件的简化操作

Fourinone2.0里通过FttpAdapter和FileAdapter实现文件io的支持。其中，FttpAdapter提供对远程文件的操作，FileAdapter提供对本地文件的操作，两者api和使用相似，这 ...
云计算hadoop分布式文件系统分布式存储分布式计算 
fourinone 评论(1) 有2713人浏览 2012-05-30 14:17

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics