CentOS 6.3下FastDFS_v4.06的安装及其配置

　　项目环境的整个搭建过程中FastDFS（分布式文件系统）是坑我最深最久的一个软件，主要里面夹着着nginx转发模块，所以现在要详细的写一篇博客来记录在搭建过程中遇到的问题，同时也是对自己花这么长时间和精力在上面的一个成果的浓缩。

 

　　FastDFS本身的架构其实也是奔着集群去的，也就是说最正宗的做法应该是某几台机器只做Tracker（即Tracker群），某几台机器只做Storage（即Storage群），但是目前所搭建的开发环境根本没有那样的条件让我去搞，就只有两台云主机，然后其中一台上已经有了nginx作转发，因此在实际搭建过程中我的部署思路是这样的，其中一台主机上只跑Tracker服务（因为要跑Storage服务就需要装fastdfs-nginx-module作转发，会与已经存在的nginx发生冲突），而另外一台主机上既跑Tracker服务，又跑Storage服务，如此相当于两个Tracker服务，一个Storage服务。

 

 下面是我的详细安装及配置步骤

 

1.创建fdfs用户组和用户

 

groupadd fdfs
useradd fdfs -g fdfs

   

2.创建运行日志及数据存储目录

  

mkdir -p /home/fdfs/data/tracker # tracker运行日志及记录storage汇报心跳等dat文件
mkdir -p /home/fdfs/data/storage # storage运行日志及数据存储目录
mkdir -p /home/fdfs/data/nginx_fdfs # 为storage作转发的nginx运行日志存储目录）
mkdir -p /home/fdfs/data/client # 客户端访问运行日志存储目录

   

3.FastDFS编译需依赖libevent，要求版本1.4.x+，通过命令查看是否已经安装

  

rpm -qa | grep libevent

   

4.如果没有安装需要先准备好libevent-2.0.21-stable.tar.gz安装包，并通过如下命令安装；如果检测到已经安装且版本高于1.4，则跳过该步骤

  

#编译安装libevent
tar -zxvf libevent-2.0.21-stable.tar.gz 
cd libevent-2.0.21-stable
./configure --prefix=/usr/local/libevent
make clean
make && make install
 
ln -s /usr/local/libevent/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5 # 创建软连接

   

5.准备好并上传所需要的软件

 

FastDFS_v4.06.tar.gz

fastdfs-nginx-module_v1.15.tar.gz

nginx-1.6.0.tar.gz

 

6.tracker和storage都需要安装的部分

  

tar -zxvf FastDFS_v4.06.tar.gz
cd FastDFS
 
#因为使用了单独的fdfs用户来运行fastdfs，所以需要修改make.sh
vi make.sh
 
修改 TARGET_PREFIX=/usr/local   --> TARGET_PREFIX=/home/fdfs/app
修改 TARGET_CONF_PATH=/etc/fdfs --> TARGET_CONF_PATH=/home/fdfs/app/conf
 
#编译安装
./make.sh C_INCLUDE_PATH=/usr/local/libevent/include LIBRARY_PATH=/usr/local/libevent/lib
./make.sh install

  

 7.storage需要安装的部分

  

yum -y install pcre pcre-devel gcc gcc-c++ zlib-devel openssl-devel # 需要监测并安装的类库（因为要安装nginx-module）
 
#安装nginx-module 
tar -zxvf fastdfs-nginx-module_v1.15.tar.gz
cd fastdfs-nginx-module
 
#因为使用了单独的fdfs用户来运行fastdfs，所以需要修改config
vi src/config
 
修改所有 /usr/local          -->/home/fdfs/app
修改所有 /etc/fdfs           -->/home/fdfs/app/conf
 
#复制mod_fastdfs.conf到/home/fdfs/app/conf/目录下
cp /home/fdfs/soft/fastdfs-nginx-module/src/mod_fastdfs.conf /home/fdfs/app/conf/
 
#安装nginx
tar -zxvf nginx-1.6.0.tar.gz
cd nginx-1.6.0/
 
#编译安装
./configure --prefix=/home/fdfs/nginx_fdfs --add-module=/home/fdfs/soft/fastdfs-nginx-module/src
make && make install

   

8.配置tracker server

  

cd /home/fdfs/app/conf
vi tracker.conf
 
#存储的目录地址
base_path=/home/yuqing/fastdfs   ->  base_path=/home/fdfs/data/tracker
 
#运行fastdfs的用户和组，默认为空，即为当前用户
run_by_group=          -> run_by_group=fdfs
run_by_user=           -> run_by_user=fdfs
 
#日志级别，默认为info，相比各种java项目产生的log，debug级别产生的log简直就是可以忽略，大胆的置为debug吧
log_level=info        -> log_level=debug
 
#使用ip或者sid模式，这三个选项是fastdfs的无索引特性决定的。v4之前文件名是由storage server生成，里头包含了源storage server ip，可以通过反解文件名出ip，从而定位到文件。但是一旦机房搬迁或者ip发生变化，反解出的ip就定位不到了，因此v4针对此问题做了优化，加入sid的概念，增加了配置文件配置sid跟ip的关系，将sid加入到文件名的生成中，反解后根据对应关系即可定位到ip，只要保证整个集群内sid是唯一的即可，可选值：ip、id
use_storage_id=false   -> use_storage_id=true
storage_ids_filename=storage_ids.conf -> storage_ids_filename=/home/fdfs/app/conf/storage_ids.conf
id_type_in_filename=ip -> id_type_in_filename=id
 
#设置是否使用连接池
use_connection_pool=false     -> use_connection_pool=true
 
#将源安装包中的storage_ids.conf，移动到安装后的配置文件夹，编辑storage server id和ip地址的对应关系
cp -r /usr/src/soft/FastDFS/conf/storage_ids.conf /home/fdfs/app/conf
 
cd /home/fdfs/app/conf
vi storage_ids.conf
#<id>    <group_name>     <ip_or_hostname>
1000001  group1           117.79.146.5

  

 9.启动tracker server

  

chown -R fdfs:fdfs /home/fdfs # 改变目录所有者
cd /home/fdfs/app/bin
 
#启动tracker
./fdfs_trackerd /home/fdfs/app/conf/tracker.conf
 
#查看tracker log，检查是否安装成功
tail -100f /home/fdfs/data/tracker/logs/trackerd.log

   

10.配置storage server

  

vi /home/fdfs/app/conf/storage.conf
 
#存储数据和log基目录
base_path=/home/yuqing/fastdfs -> /home/fdfs/data/storage
 
#设置上传数据的挂载点，count的个数和storage_path的个数一致，从0开始，一个一行
storage_path_count=1
storage_path0=/home/yuqing/fastdfs -> /home/fdfs/data/storage
 
#设置tracker地址(需分2行写2个tracker的地址)
tracker_server=117.79.146.5:22122
 
#设置运行FastDFS的用户组
run_by_group= -> run_by_group=fdfs
run_by_user=  -> run_by_user=fdfs
 
#日志级别设置，依旧大胆的设置成debug吧
log_level=info ->log_level=debug
 
#是否使用连接池
use_connection_pool=false -> use_connection_pool=true

  

11.启动storage server

  

cd /home/fdfs/app/bin
 
#启动storage
./fdfs_storaged /home/fdfs/app/conf/storage.conf
 
#如果屏幕上打印了一堆如下，那就ok了
data path:/home/fdfs/storage/data,mkdir sub dir...
mkdir data path: 00 ...
mkdir data path: 01 ...
mkdir data path: 02 ...
mkdir data path: 03 ...
.......................
data path: /home/fastdfs/storage/data, mkdir sub dir done.

   

12.配置客户端client

  

vi /home/fdfs/app/conf/client.conf
 
#配置client客户端存储log的地址
base_path=/home/yuqing/fastdfs -> base_path=/home/fdfs/data/client
 
#设置tracker地址
tracker_server=192.168.209.121:22122 -> tracker_server=117.79.146.5:22122
 
#日志级别设置
log_level=info -> log_level=debug
 
#是否使用连接池
use_connection_pool=false -> use_connection_pool=true
 
#从tracker.conf 复制相同的配置项
load_fdfs_paramters_from_tracker=false -> load_fdfs_paramters_from_tracker=true

   

13.测试上传文件

  

cd /home/fdfs/app/bin 
./fdfs_test /home/fdfs/app/conf/client.conf upload test.txt 

   

14.配置nginx_module

  

cd /home/fdfs/app/conf
vi mod_fastdfs.conf 
 
#配置存放module产生log的位置 
base_path=/home/fdfs/data/nginx_fdfs
 
#从tracker.conf 复制相同的配置项
load_fdfs_parameters_from_tracker=false -> load_fdfs_parameters_from_tracker=true
 
#tracker地址，一行一个地址
tracker_server=192.168.25.11:22122 -> tracker_server=117.79.146.5:22122
 
#url中是否包含组名，该项与nginx配置的location相关
url_have_group_name = false -> url_have_group_name = true
 
#同storage.conf中的配置（至关重要，我就是被这个坑掺了，曾因此一度怀疑自己的能力）
store_path_count=1
store_path0=/home/fdfs/data/storage
 
#log文件名
log_filename=/home/fdfs/data/nginx_fdfs/mod_fastdfs.log
 
#日志级别设置
log_level=info -> log_level=debug
 
#扩展content_type
http.need_find_content_type=false -> http.need_find_content_type=true

 

15.配置nginx

  

cd /home/fdfs/nginx_fdfs/conf
vi nginx.conf

  

user  root; # 这里一定要设置，否则会出现权限不足
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
   
    server {
        listen       7070;
        server_name  localhost;

        charset koi8-r;

        access_log  logs/7070server.log  main;
      
        location ~* /group1/(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ {
            root /home/fdfs/data/storage/data/;
            set $h $2;
            set $w $3;
            if ($h = "0") {
                rewrite /group1/(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ /group1/$1.$4 last;
            }
            if ($w = "0") {
                rewrite /group1/(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ /group1/$1.$4 last;
            }

            if ($h != "0"){
                  rewrite /group1/(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ /group1/$1.$4 break;
            }
            if ($w != "0"){
                  rewrite /group1/(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ /group1/$1.$4 break;
            }
        #image_filter resize $h $w;
        #image_filter_buffer 2M;

        try_files /group1/$1.$4  /group1/notfound.jpg;

        }

        location ~* /group1 {
            root /home/fdfs/data/storage/data/;
            ngx_fastdfs_module;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}

  

 16.启动nginx

 

/home/fdfs/nginx_fdfs/sbin/nginx

 

17.如果报错如下：

./nginx: error while loading shared libraries: libfastcommon.so: cannot open shared object file: No such file or directory

 

解决方案：

ln -s /home/fdfs/app/lib/libfastcommon.so /usr/lib/libfastcommon.so

ln -s /home/fdfs/app/lib/libfastcommon.so /usr/lib64/libfastcommon.so

 

如果报错如下：

./nginx: error while loading shared libraries: libfdfsclient.so: cannot open shared object file: No such file or directory

 

解决方案：

ln -s /home/fdfs/app/lib/libfdfsclient.so /usr/lib/libfdfsclient.so

ln -s /home/fdfs/app/lib/libfdfsclient.so /usr/lib64/libfdfsclient.so

 

18.至此，FastDFS的相关安装及配置结束，相关的安装软件我会上传至附件。真心希望能够帮助到大家！