`
247687009
  • 浏览: 174198 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

FastDFS+Nginx轻量级分布式文件系统安装使用

阅读更多

一 简介

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

二 安装

1, 本次安装采用三台centos5.10 linux操作系统

192.168.80.100  tracker Nginx(注意这台不安装fastsfd-niginx插件)

192.168.80.101  storage nginx

192.168.80.102  storage nginx

操作系统的安装这里不多说。

2, 准备编译环境 yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel 三台机器都进行安装,并且创建两个新用户fastdfs nginx  

useradd fastdfs -M -s /sbin/nologin  useradd nginx -M -s /sbin/nologin

为了方便测试 请关闭防火墙 service iptables stop

3, 下载源码

敲 cd /usr/local/src/ 进入该目录下,运行如下命令,下载fastDFS 5.01 

wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Server%20Source%20Code/FastDFS%20Server%20with%20PHP%20Extension%20Source%20Code%20V5.01/FastDFS_v5.01.tar.

下载 nginx 1.7.0

wget http://nginx.org/download/nginx-1.7.0.tar.gz

下载fastdfs-nginx-module_v1.16

wget http://jaist.dl.sourceforge.net/project/fastdfs/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz

 

4, 安装FastDFS (三台机器都要安装)

tar xf FastDFS_v5.01.tar.gz

cd FastDFS

./make.sh && ./make.sh install 

5, 解压fastDFS-nginx-module

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf fastdfs-nginx-module_v1.16.tar.gz

6, 安装Nginx

192.168.80.100 tarcker 机器的安装

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf nginx-1.7.0.tar.gz

[root@localhost src]# cd nginx-1.7.0

[root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

[root@localhost nginx-1.7.0]# make

[root@localhost nginx-1.7.0]# make install

192.168.80.101,102 stroage nginx的安装

[root@localhost ~]# cd /usr/local/src/

[root@localhost src]# tar xf nginx-1.7.0.tar.gz

[root@localhost src]# cd nginx-1.7.0

[root@localhost nginx-1.7.0]# ./configure --user=nginx --group=nginx --prefix=/usr/local/nginx

--add-module=../fastdfs-nginx-module/src  //storage 安装nginx时需要加载该模块

[root@localhost nginx-1.7.0]# make

[root@localhost nginx-1.7.0]# make install

 

三 配置

192.168.80.100 tracker的配置

1,创建tracker数据以及日志存放目录

[root@localhost ~]# mkdir -p /data/fastdfs/tracker

2,修改FastDFStracker.conf配置 文件

[root@localhost ~]# vim /etc/fdfs/tracker.conf 

base_path=/data/fastdfs/tracker

max_connections=1024

work_threads=8

store_lookup=0

store_path=0

reserved_storage_space=4G //

run_by_group=fastdfs

run_by_user=fastdfs

rotate_error_log=true

配置的解析请参照我的以一篇文章 tracker配置文件解析

3,修改Nginx的配置文件

[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

user nginx nginx; //此处为已经建立好的用户 和分组

worker_processes 3;

pid /usr/local/nginx/logs/nginx.pid;

worker_rlimit_nofile 1024;

events {

use epoll; // epollLinux内核为处理大批量文件描述符而作了改进的poll

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log /usr/local/nginx/logs/access.log main;

upstream server_g1{

server 192.168.80.101:80; //这里配置的是storageIP 可以配多台

server 192.168.80.102:80;

}

server {

listen 80;

server_name localhost;

location /g1 {

proxy_redirect off;

proxy_set_header Host $host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_pass http://server_g1;

}

  }

}

4,将tracker交给service管理并且设置开机启动

[root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_trackerd /etc/init.d/

[root@localhost ~]# chkconfig --add fdfs_trackerd

[root@localhost ~]# chkconfig fdfs_trackerd on

 

配置storage (分别在192.168.80.101,102上进行配置)

1, 创建数据存放目录

[root@localhost ~]# mkdir -p /data/fastdfs/storage/data

 

2,修改FastDFSstorage.conf配置文件

[root@localhost ~]# vim /etc/fdfs/storage.conf

group_name=g1

base_path=/data/fastdfs

##工作线程数,通常设置为 CPU 

work_threads=8

store_path_count=1

store_path0=/data/fastdfs/storage

##tracker_server 的地址

tracker_server=192.168.80.100:22122

##运行 FastDFS 的用户组

run_by_group=fastdfs

##运行 FastDFS 的用户

run_by_user=fastdfs

file_distribute_path_mode=1

rotate_error_log=true

 

3,把nginx模块的配置文件拷贝到 /etc/fdfs中,进行修改

[root@localhost ~]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

[root@localhost ~]# vim /etc/fdfs/mod_fastdfs.conf

connect_timeout=30

tracker_server=192.168.80.100:22122

group_name=g1

url_have_group_name = true

store_path_count=1

store_path0=/data/fastdfs/storage

 

4,修改nginx配置文件

[root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf

user nginx nginx;

worker_processes 8;

pid /usr/local/nginx/logs/nginx.pid;

worker_rlimit_nofile 1024;

events {

use epoll;

worker_connections 1024;

}

http {

include mime.types;

default_type application/octet-stream;

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

'$status $body_bytes_sent "$http_referer" '

'"$http_user_agent" "$http_x_forwarded_for"';

access_log /usr/local/nginx/logs/access.log main;

server {

listen 80;

server_name localhost;

location /g1/M00{

root /data/fastdfs/storage/data;

ngx_fastdfs_module;

}

  }

}

 

5,把storage [root@localhost ~]# cp /usr/local/src/FastDFS/init.d/fdfs_storaged /etc/init.d/

[root@localhost ~]# chkconfig --add fdfs_storaged

[root@localhost ~]# chkconfig fdfs_storaged on

[root@localhost ~]# service fdfs_storaged startservice管理并设置开机启动

//创建软连接

[root@localhost ~]# ln -s /data/fastdfs/storage/data /data/fastdfs/storage/data/M00

 

四 测试

1,在192.168.80.100 上启动trackernginx

[root@localhost ~]# service fdfs_trackerd start

[root@localhost ~]# /usr/local/nginx/sbin/nginx

2,在192.168.80.101,102上面分别启动storagenginx

[root@localhost ~]# service fdfs_storaged start

[root@localhost ~]# /usr/local/nginx/sbin/nginx

3配置一个client tracker上进行

[root@localhost ~]# vim /etc/fdfs/client.conf

base_path=/data/fastdfs

tracker_server=192.168.80.100:22122

4,查看集群详细

[root@localhost ~]# fdfs_monitor /etc/fdfs/client.conf

 

5,测上传

root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf aa.jpg

 

g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

 

通过浏览器

http://192.168.80.101/g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

http://192.168.80.102/g1/M00/AC/2F/wKgKDVMppoGAMCFNAAIFvJcyojY165.jpg

分享到:
评论

相关推荐

    基于Python + Fastdfs + Nginx + Mysql 的分布式文件存储平台.zip

    Fastdfs是一个开源的高性能、轻量级的分布式文件系统,专门针对互联网应用设计,特别适合存储大文件如图片、视频等。Fastdfs能有效解决单一服务器存储容量和负载问题,支持文件的分布式存储、负载均衡、故障转移等...

    fastDFS+Nginx_fastdfs_fastdfs、nginx_fastdfs/nginx_

    FastDFS是一个开源的轻量级分布式文件系统,专门针对互联网应用设计,可以有效解决大数据量、高并发访问的问题。而Nginx作为一款高性能的HTTP和反向代理服务器,常被用作负载均衡器,与FastDFS结合,可以实现高效...

    FastDFS+Nginx安装包

    FastDFS是轻量级的开源分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题。FastDFS设计目标是轻量、简单、高效,特别适合中小...

    FastDFS+Nginx+libfastcommon+fastdfs-nginx-module

    FastDFS是一个开源的、高性能的、轻量级的分布式文件系统,主要用于解决大容量存储和负载均衡的问题,尤其适合以文件为载体的在线服务,如图片、视频等文件的存储。而Nginx作为一款强大的反向代理服务器,可以与...

    fastdfs + nginx 资源安装包 linux

    3. **FastDFS**:FastDFS是一个开源的、轻量级的分布式文件系统,专为互联网设计,用于解决大容量存储和负载均衡的问题。它能有效支持高并发访问和海量数据存储,且具有良好的可扩展性。FastDFS提供了文件存储、文件...

    fastDFS+nginx+redis安装笔记.zip

    FastDFS是一个开源的、高性能的、轻量级的分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题。在安装FastDFS时,你需要按照以下...

    linux下搭建FastDFS+Nginx服务器

    FastDFS是一个轻量级的分布式文件系统,它为互联网应用提供了高可用、高并发的文件存储解决方案。它的主要特点是将文件存储和元数据分离,通过Tracker服务器管理文件的存储路径和文件组信息,而Storage服务器则负责...

    fastdfs+nginx 分布式存储图片,支持动态缩略图

    FastDFS是一个开源的高性能、轻量级的分布式文件系统,特别适合于图片和视频等大容量文件的存储。而Nginx则是一款广泛使用的高性能HTTP服务器和反向代理服务器,能够处理静态资源并分发动态请求。本主题将详细介绍...

    fastdfs+Nginx+cache集群安装配置

    FastDFS是一款开源的高性能、轻量级的分布式文件系统,主要用于解决海量文件存储问题。它主要由Tracker服务器和Storage服务器两部分组成。Tracker服务器负责调度和管理,包括文件的上传、下载等路由服务,而Storage...

    FastDFS和Linux下安装使用FastDFS 安装Nginx 分布式文件系统.docx

    FastDFS是其中一种流行的开源解决方案,由中国的余庆先生开发,它是一个轻量级、高效率的分布式文件系统,主要用C语言编写。 【FastDFS的特点和功能】 FastDFS提供了文件存储、文件同步、文件上传和下载、负载均衡...

    linux下FastDFS+nginx

    FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,解决了大容量存储和负载均衡的问题。而Nginx则是一款高性能的HTTP和反向代理服务器,...

    FastDFS+Nginx.doc

    FastDFS是一个轻量级的开源分布式文件系统,专为解决大容量文件存储和高并发访问而设计。它提供了负载均衡功能,并支持存储服务器在线扩容,实现软件RAID,节省磁盘空间。FastDFS不支持POSIX访问方式,而是通过...

    FastDFS+Nginx安装部署软件

    1. **概述**:FastDFS是一个高性能、轻量级的开源分布式文件系统。它专为大型网站设计,具有高可用性、高性能、高扩展性和低依赖性等特点。 2. **功能**:FastDFS提供文件存储、文件同步、负载均衡等功能,确保文件...

    fastDFS+Nginx安装包(Linux版本)

    FastDFS是一个开源的、高性能的、轻量级的分布式文件系统,主要解决大容量存储和负载均衡问题。它对文件进行管理,包括文件存储、文件同步、文件访问(文件上传、文件下载)等功能,设计目标是高可用、高扩展性。...

    FastDFS+nginx+_cache集群安装配置超详细步骤

    FastDFS是一款开源的高性能、轻量级的分布式文件系统,适用于互联网行业的大量小文件存储。它具有高可用性、高扩展性和低延迟等特点,常被用于图片、视频等多媒体文件的存储。配合Nginx作为反向代理和缓存服务器,...

    Fastdfs+nginx单点部署

    nginx是一个轻量级的Web服务器,可以作为反向代理服务器、负载均衡器和HTTP缓存等使用。在本文档中,我们将介绍如何在Linux系统上安装FastDFS和nginx,以实现单点部署。 一、安装依赖包 在安装FastDFS和nginx之前...

    Fastdfs单节点安装包集合(Fastdfs+libfastcommon+fastdfs-nginx-module+nginx)

    Fastdfs是一款开源的高性能、轻量级的分布式文件系统,主要设计用于解决大容量存储和负载均衡的问题。它特别适合那些需要大量存储和高访问速度的互联网应用,如图片、视频分享网站等。Fastdfs提供了文件存储、文件...

    centos7-fastdfs+nginx+php开发环境部署.doc

    FastDFS是一个轻量级的分布式文件系统,由淘宝开发,专门用于解决大容量存储和负载均衡问题。其核心特点是跟踪器(Tracker)和存储节点(Storage)。Tracker负责调度和负载均衡,而Storage则存储文件并处理文件同步...

    Linux+FastDfs+Nginx

    FastDFS是一个开源的轻量级分布式文件系统,它专为互联网设计,支持高并发读写操作,具有高性能、高可用性、易扩展等特性。而Nginx作为一款强大的反向代理服务器,可以用来处理静态资源,如图片预览。本文将详细介绍...

Global site tag (gtag.js) - Google Analytics