多节点gluster_NFS安装配置性能对比

(表格在文本模式无法显示，请下载附件看详细内容)多节点gluster_NFS安装配置性能对比
1 部署拓扑
1.1 Gluster部署拓扑

1.2 NFS部署拓扑

1.3 说明
1.3.1 Gluster模式：
192.168.167.47 gluster 主服务器
挂载点 /apps/test
192.168.167.49 gluster 主服务器
192.168.167.48 gluster 从服务器
挂载点 /apps/test
1.3.2 NFS server 模式：
192.168.167.47 NFS 主服务器
[root@EMAG-TEST-167-47 etc]# vi /etc/exports
/apps/test1 192.168.167.48(rw,sync)
192.168.167.48 NFS 客户端服务器1
mount -t nfs 192.168.167.47:/apps/test1 /apps/test1
192.168.167.49 NFS客户端服务器2
mount -t nfs 192.168.167.47:/apps/test1 /apps/test1
2 安装
2.1 Gluster 安装
2.1.1 首先安装fuse
tar -zxvf fuse-2.7.4.tar.gz
cd fuse-2.7.4
./configure -enable-dependency-tracking -enable-kernel-module -enable-lib -enable-util
make && make isntall
2.1.2 安装glusterfs
tar -zxvf glusterfs-2.0.0rc1.tar.gz
cd glusterfs-2.0.0rc1
./configure
make && make install
两台glusterfs_server和glusterfs_client端操作一样
3 配置
3.1 gluster_server端的操作
3.1.1 配置文件的修改
3.1.1.1 192.168.167.47上：
[root@EMAG-TEST-167-47 glusterfs]# vi glusterfs-server.vol
volume brick
type storage/posix # POSIX FS translator
option directory /apps/test # Export this directory
end-volume
volume locker
type features/posix-locks
subvolumes brick
end-volume
### Add network serving capability to above brick.
volume server
type protocol/server
option transport-type tcp/server
option bind-address 192.168.167.47 # Default is to listen on all interfaces
option listen-port 6996 # Default is 6996
subvolumes locker
option auth.addr.brick.allow * # Allow access to "brick" volume
option auth.addr.locker.allow *
end-volume
3.1.1.2 192.168.167.49上：
[root@EMAG-TEST-167-49 glusterfs]# vi glusterfs-server.vol
volume brick
type storage/posix # POSIX FS translator
option directory /apps/test # Export this directory
end-volume
volume locker
type features/posix-locks
subvolumes brick
end-volume
### Add network serving capability to above brick.
volume server
type protocol/server
option transport-type tcp/server
option bind-address 192.168.167.49 # Default is to listen on all interfaces
option listen-port 6996 # Default is 6996
subvolumes locker
option auth.addr.brick.allow * # Allow access to "brick" volume
option auth.addr.locker.allow *
end-volume
3.2 gluster_client端的操作：
cd /usr/local/etc/glusterfs/
mv glusterfs-client.vol.sample  glusterfs-client.vol
修改后的内容如下：
[root@EMAG-TEST-167-48 glusterfs]# vi glusterfs-client.vol
volume client0
type protocol/client
option transport-type tcp/client
option remote-host 192.168.167.47 # IP address of the remote brick
option remote-port 6996 # default server port is 6996
option remote-subvolume locker # name of the remote volume
end-volume
volume client1
type protocol/client
option transport-type tcp/client
option remote-host 192.168.167.49
option remote-port 6996
option remote-subvolume locker
end-volume
volume bricks
type cluster/replicate
subvolumes client0 client1
end-volume
4 操作
4.1 glusterfs_server端的操作
glusterfsd -f /usr/local/etc/glusterfs/glusterfs-server.vol 
ps -ef | grep glusterfs                                     
netstat -ln | grep 6996                                    
两台server一样
4.2 glusterfs_client端的操作
modprobe -i fuse              
glusterfs -f /usr/local/etc/glusterfs/glusterfs-client.vol /
4.3 高可用测试
在gluster 客户端touch10个文件：
[root@EMAG-TEST-167-48 test]# touch {1,2,3,4,5,6,7,8,9,10}
[root@EMAG-TEST-167-48 test]# ls
10  2  3  4  5  6  7  8  9
在两台gluster主服务器上分别察看，文件是否创建：
[root@EMAG-TEST-167-49 test]# ls
10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-47 test]# ls
1 10  2  3  4  5  6  7  8  9
可以看到2个主服务器都创建了10个文件，RADI1模式实现；
在server端进行一个破坏性的实验，把49的gluster进程杀掉，
[root@EMAG-TEST-167-49 test]# ps -ef|grep glusterfs
root     23362     1  0 Jan26 ?        00:00:47 glusterfsd -f /usr/local/etc/glusterfs/glusterfs-server.vol
[root@EMAG-TEST-167-49 test]# kill -9 23362
[root@EMAG-TEST-167-49 test]# ps -ef|grep glusterfs
到client端看，发现/apps/test下看刚touch文件是没问题的都可以访问，
[root@EMAG-TEST-167-48 test]# ls
1  10  2  3  4  5  6  7  8  9
  我们再mkdir {a,b,c,d,e,f,g,h}建立几个目录，
[root@EMAG-TEST-167-48 test]# mkdir {a,b,c,d,e,f,g,h}
[root@EMAG-TEST-167-48 test]# ls
1  10  2  3  4  5  6  7  8  9  a  b  c  d  e  f  g  h
再把49的进程glusterfs启动，
[root@EMAG-TEST-167-49 test]# glusterfsd -f /usr/local/etc/glusterfs/glusterfs-server.vol
[root@EMAG-TEST-167-49 test]# ps -ef|grep glusterfs
root     16998     1  0 14:47 ?        00:00:00 glusterfsd -f /usr/local/etc/glusterfs/glusterfs-server.vol
过段时间，到/apps/test下看刚建立的a,b,c,d,e,...几个文件夹已经复制过来了
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1  10  2  3  4  5  6  7  8  9
[root@EMAG-TEST-167-49 test]# ls
1 10  2  3  4  5  6  7  8  9  a  b  c  d  e  f  g  h
5 Gluster&NFS性能对比
5.1 单节点性能对比
5.1.1 写性能对比

从以上数值可以看出，gluster的写性能远优于NFS；
5.1.2 读性能对比

从以上数据可以看出，NFS读性一个数量级别优于Gluster，因此在此次试验中，我进行了2次数据的测试，都是MB和GB的差别，因为我们环境基于虚拟机环境，可能引起数据失真，要么是虚拟机根据常用的NFS协议做了相关虚拟硬件的优化，虚拟机之间没有真正的走物理网络上的交换机走，要么就是NFS本身性能优异，后者可能比较小；
5.2 多节点对比
5.2.1 写性能对比
5.2.1.1. Gluster单节点与复制集群模式对比

节点复制和单节点对比可以看出，多节点平均比单节点性能差一半多一点，主要耗费在同步写2个主节点的写和同步状态时间上，多节点为类似RADI1模式，同时写2台主服务器；
5.2.1.2. Gluster集群复制模式与NFS多节点对比
从以上数据可以看出，cluster的集群复制模式跟NFS的多客户端同时访问在单个节点对比上性能相差不大；
5.2.2 读性能对比
5.2.2.1. Gluster单节点与复制集群模式对比

从以上数据可以看出，在读性能上，单节点和集群模式相差不大，gluster并没有实现类似2个主节点的并行读取功能；
5.2.2.2. Gluster集群复制模式与NFS多节点对比
在读取性能上，还是有一个数量级的大差距，原因和5.1.2节应该一样；