ceph安装

 

文档地址：http://docs.ceph.org.cn/start/quick-ceph-deploy/

文档：http://blog.csdn.net/younger_china/article/details/51823571

 

 

安装 CEPH 部署工具

 

1 安装yum的一些插件：

sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

 

2 创建yum源，所有的机器都添加：sudo vim /etc/yum.repos.d/ceph.repo

[ceph-noarch]

name=Ceph noarch packages

baseurl=http://download.ceph.com/rpm-jewel/el7/noarch/

#http://download.ceph.com/rpm-{ceph-release}/{distro}/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

 

 

3 安装 NTP(时间同步模块) ntpdate ntp1.aliyun.com或者sudo yum install ntp ntpdate ntp-doc

4 安装ssh，并确保设置了免密登录：sudo apt-get install openssh-server

5 建议创建单独的ceph部署用户： ceph-deploy --username {username} 

6、各节点无密登录：ssh-keygen，ssh-copy-id {username}@node1

7、禁用防火墙和SELINUX

8、设置静态IP（否则IP会动态变化）

9、虚拟机镜像拷贝后没有ip

1）ifconfig查看网卡名称 （/etc/sysconfig/network-scripts/ip address 也可以查看网卡信息）

2）拷贝现有的网卡配置/etc/sysconfig/network-scripts/ifcfg-eno16777736，删除uuid，修改device和name

3）ifdown 网卡名称 ，ifup 网卡名称 来重启网卡

10、权限修改 :visudo修改suoders

1） 注释Defaults requiretty

Defaults requiretty修改为 #Defaults requiretty， 表示不需要控制终端。

否则会出现sudo: sorry, you must have a tty to run sudo

2）增加行 Defaults visiblepw

否则会出现 sudo: no tty present and no askpass program specified

3）添加安装用户使用sudo不需要密码：tony    ALL=(ALL) NOPASSWD:ALL

4）修改hostname：hostnamectl set-hostname node4

 

11 创建集群的目录

mkdir my-cluster & cd my-cluster

12 如果重新安装需要执行：

  ceph-deploy purgedata   node1 node2 node3  &&  ceph-deploy forgetkeys && eph-deploy purge  node1 node2 node3

13、配置文件ceph.conf中加入：  osd pool default size = 2

14、安装 ceph-deploy install {ceph-node} [{ceph-node} ...]

15、异常sudo ceph --version  /usr/lib/python2.7/site-packages/ceph_deploy/lib/vendor/remoto/process.py"

    超时，需要在每个节点执行：sudo yum -y install ceph 和 sudo yum -y install ceph-radosgw

 

16、ceph-deploy osd activate异常：

    Failedto execute command: /usr/sbin/ceph-disk -v activate --mark-init systemd --mount/var/local/osd0

    在各个节点上给/var/local/osd1/和/var/local/osd1/添加权限

    如下： chmod 777  /var/local/osd0/

   chmod 777  /var/local/osd0/*

17、ceph的启动停止（某个服务，或者某个机器的某个服务的具体操作）

   http://docs.ceph.com/docs/master/rados/operations/operating/#running-ceph-with-sysvinit

 

18、ceph 各种统计数据的展示

 （ceph health 集群健康状况，ceph -w 集群内正发生的事件，ceph df集群的数据用量及其在存储池内的分布）

   ceph osd tree|stat（osd的状态），

   ceph mon stat（mon状态），

   ceph quorum_status（监视器的详细）

   ceph mds stat|dump(mds的状态 )

   http://docs.ceph.org.cn/rados/operations/monitoring/

19、新添加osd节点：

   1）节点上创建磁盘目录：mkdir /var/local/osd2

   2）管理节点准备发布信息：ceph-deploy osd prepare node1:/var/local/osd2

   3）激活osd节点，执行ceph status可以看到osd节点多了一个

20、元数据服务创建

   1）ceph-deploy mds create node1

   2）ceph mds stat

21、RGW服务

   1）创建rgw网关：ceph-deploy rgw create node2

   2） ceph mds stat

 

22、添加新的mon到集群中

  异常： admin_socket: exception getting command descriptions: [Errno 2] No such file or directory

   解决：当服务器有多个网卡的时候需要添加外网的ip到ceph到集群中

如：public network=192.168.145.140/24

分发配置文件到其他的服务器：ceph-deploy --overwrite-conf admin   node2 node3 node4 

    集群中mds的信息：ceph quorum_status --format json-pretty

 

23、pools的查看（ceph df集群的数据用量及其在存储池内的分布）

  文档：http://docs.ceph.org.cn/rados/operations/pools/

  rados lspools，ceph osd lspools，ceph osd dump |grep pool

 

24、ceph对象存储：

    http://docs.ceph.org.cn/start/quick-ceph-deploy/#id4

25、ceph中pg的操作

ceph pg dump（ceph的整体信息，第一列为pg-num，是由{poolnum}.{pg-id}组成的）|ceph pg map {pg-num}|ceph pg stat

 

26、存储文件到ceph中

  1）列出所有的pool：ceph osd lspools

  2）将创建的文件存储到池中：rados put test-object-2 testfile.txt --pool=default.rgw.data.root

  3）列出池中的所有对象：rados -p default.rgw.data.root ls

  4）列出池中对象的详细信息：ceph osd map default.rgw.data.root test-object-2

  5）删除池中的某个对象：rados rm test-object-2 --pool=default.rgw.data.root