puppet自动化部署

http://chaorenyong.blog.51cto.com/2163445/1106180

 

系统维护不能总是重复一次又一次同样的操作。当然脚本能给我们省去很多重复的工作。但是脚本的运行在不同的平台时，很多时候需要我们去稍作修改，有时一个脚本的编写本身就很费事，而这项工作只需要操作这一次。这时我们为了提高效率、减少重复的事情。减少错误、积累知识、部分自动化工作已经满足不了我们。我们需要彻底的应用自动化软件维护工具。下面我们一起来学习自动化及批量部署的软件。

自动化管理及快速的部署软件有很多，比较出名的有cfengine,但是cfengine的语法比较晦涩，于是出现了puppet 。puppet的语法简单，对管理内容的抽象很好，很容易理解代码，因此最近正迅速的流行开来。

puppet是一个为实现数据中心自动化管理而设计的配置管理软件。基于c/s架构。puppet的服务器端保存着所有的对客户端服务器的配置代码，在puppet里面叫做manifest. 客户端下载manifest之后，可以根据manifest对服务器进行配置，例如软件包管理，用户管理和文件管理等等。

puppet的工作流程如下：

1. 客户端puppetd调用facter，facter探测出主机的一些变量，例如主机名，内存大小，ip地址等。pupppetd 把这些信息通过ssl连接发送到服务器端； 
2. 服务器端的puppetmaster 检测客户端的主机名，然后找到manifest里面对应的node配置，并对该部分内容进行解析，facter送过来的信息可以作为变量处理，node牵涉到的代码才解析，其他没牵涉的代码不解析。解析分为几个阶段，语法检查，如果语法错误就报错。如果语法没错，就继续解析，解析的结果生成一个中间的“伪代码”，然后把伪代码发给客户端；
3. 客户端接收到“伪代码”，并且执行，客户端把执行结果发送给服务器；
4. 服务器端把客户端的执行结果写入日志。

提示：保证安全，client和master之间是基于ssl和证书的，只有经master证书认证的 client可以与master通信；

puppet会让系统保持在你所期望的某种状态并一直维持下去，如检测某个文件并保证其一直存在，保证ssh 服务始终开启，如果文件被删除了或者ssh服务被关闭了，puppet下次执行时（默认30分钟），会重新创建该文件或者启动ssh服务。

puppet是puppet Labs 基于ruby语言开发的自动化系统配置工具，可以以C/S 模式或独立模式运行，支持对所有 UNIX 及类 UNIX 系统的配置管理,可以管理配置文件，用户、cron任务、软件包、系统服务等。

 

                典型的puppet架构

 

ssl认证过程：

 

client:

向服务器发起签名请求

puppetd  --test --server master.puppet.com

 

server:

查看有没有来验证的客户端

puppetca -l

 

给客户端client签名验证

puppetca  -s client.puppet.com

 

 

实例演示：

 

运行环境和软件

客户机和服务器运行环境：RHEL6 (防火墙和SELINUX关闭)

软件：puppet-2.7.12.tar.gz  facter-1.6.6.tar.gz

采用两台服务器，一台是 server.sxkj.com 用来安装 puppet-server 服务；

一台是 client.sxkj.com 用来安装 puppet 客户端。puppet 要求所有机器有完整的域名（FQDN），

生产环境做内部DNS比较好，保持两台主机时间同步。

yum源、dns和ntp的搭建这里不再罗嗦

client:  client.cluster.com

server:  server.cluster.com

 

puppet使用ruby语言写的需要安装ruby及相关库支持   client server都要安装

yum install ruby*  -y

 

client和server安装facter和puppet

 tar xf facter-1.6.6.tar.gz -C /usr/src

cd /usr/src/facter-1.6.6/

ruby install.rb

 

 tar xf puppet-2.7.12.tar.gz -C /usr/src

 

cd /usr/src/puppet-2.7.12/

  ruby  install.rb

 

puppet配置

server配置 server配置 [root@server puppet-2.7.12]# cp conf/redhat/*.conf /etc/puppet/ //配置puppet的启动服务脚本 [root@server puppet-2.7.12]# cp conf/redhat/server.init /etc/init.d/puppetmaster [root@server puppet-2.7.12]# chmod 755 /etc/init.d/puppetmaster [root@server puppet-2.7.12]# chkconfig --add puppetmaster [root@server puppet-2.7.12]# chkconfig puppetmaster on [root@server puppet-2.7.12]# chkconfig --list | grep puppetmaster puppetmaster 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 生成puppet账户： [root@server puppet]# puppetmasterd --mkusers [root@server puppet]# grep puppet /etc/passwd /etc/shadow /etc/passwd:puppet:x:501:501::/home/puppet:/bin/bash /etc/shadow:puppet:!!:15502:0:99999:7::: [root@server puppet-2.7.12]# cd /etc/puppet/ [root@server puppet]# ls auth.conf fileserver.conf manifests puppet.conf // auth.conf --> client访问puppet server的ACL配置文件 // fileserver.conf --> puppet server 作为文件服务器的ACL配置文件 // manifests --> puppet脚本主文件目录，至少需要包含site.pp文件 // puppet.conf --> puppet服务器配置文件 启动： [root@server puppet]# service puppetmaster restart 停止 puppetmaster： [确定] 启动 puppetmaster： [确定] [root@server puppet]# netstat -ntpl | grep ruby tcp 0 0 0.0.0.0:8140 0.0.0.0:* LISTEN 2915/ruby [root@server puppet]# service puppetmaster restart 停止 puppetmaster： [确定] 启动 puppetmaster： [确定] [root@server puppet]# netstat -ntpl | grep ruby tcp 0 0 0.0.0.0:8140 0.0.0.0:* LISTEN 2915/ruby client配置 [root@client puppet-2.7.12]# cp conf/redhat/*conf /etc/puppet/ [root@client puppet-2.7.12]# cp conf/namespaceauth.conf /etc/puppet/ //配置客户端脚本 [root@client puppet-2.7.12]# cp conf/redhat/client.init /etc/init.d/puppet [root@client puppet-2.7.12]# chmod a+x /etc/init.d/puppet [root@client puppet-2.7.12]# chkconfig --add puppet [root@client puppet-2.7.12]# chkconfig puppet on [root@client puppet-2.7.12]# chkconfig --list | grep puppet puppet 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭 [root@client puppet-2.7.12]# vi /etc/puppet/namespaceauth.conf #修改内容如下 [fileserver] allow * [puppetmaster] allow * [puppetrunner] allow * [puppetbucket] allow * [puppetreports] allow * [resource] allow * [root@client puppet-2.7.12]# puppetmasterd --mkusers [root@client puppet]# rm -rf /var/lib/puppet/ssl/* //删除客户端/var/lib/puppet/ssl目录下的文件,否则可能会报错 /etc/init.d/puppet start[root@client ~]# puppetd --test --server server.sxkj.com //客户端向server端发送请求 //puppet 客户端使用 HTTPS 和服务端（master）通信，为了和服务器端通信必须有合法的 SSL认证， 第一次运行puppet 客户端的时候会生成一个SSL 证书并指定发给 puppet 服务端。agent发起了一个证 书验证请求并且使用一个私钥来加密连接。puppet使用SSL证书来验证master和agent之间的连接。agent 向master发出证书验证请求，然后等待master签名并返回证书。 warning: peer certificate won't be verified in this SSL session info: Caching certificate for ca warning: peer certificate won't be verified in this SSL session warning: peer certificate won't be verified in this SSL session info: Creating a new SSL certificate request for client.sxkj.com info: Certificate Request fingerprint (md5): 6A:E9:72:E1:C4:60:06:30:C0:BB:11:BA:3A:06:ED:18 //客户端创建了证书 warning: peer certificate won't be verified in this SSL session warning: peer certificate won't be verified in this SSL session warning: peer certificate won't be verified in this SSL session Exiting; no certificate found and waitforcert is disabled [root@server ~]# puppetca -l //服务器查看 client.cluster.com (52:E6:6C:2C:DA:D0:44:7D:5A:02:84:BD:A2:F5:33:8C) [root@server ~]# puppetca -s -a //发送接受请求 notice: Signed certificate request for client.sxkj.com notice: Removing file puppet::SSL::CertificateRequest client.sxkj.com at '/var/lib/puppet/ssl/ca/requests/client.cluster.com.pem' // puppet 服务端接受到客户端的证书后必须签字（sign）才能允许客户端接入 //puppetca –s –a //对所有客户端全部签名 //puppetca –s client.sxkj.com //只签名某个客户端 [root@server ~]# puppet cert list --all

+ server.cluster.com (19:14:2F:05:2E:6C:F8:1F:04:58:E3:8E:FB:DE:F5:95) (alt names: DNS:puppet, DNS:puppet.cluster.com, DNS:client.cluster.com)

 

+ client.cluster.com (D2:C8:0E:F1:49:3C:C2:88:42:76:2B:D9:D0:F4:E5:E8)

 

 

puppet测试

puppet使用一种描述性语言来定义配置项，配置项在puppet中被称为"资源"。puppet提供了很多资源类型

官网的网址查看puppet支持的资源类型和属性, http://docs.puppetlabs.com/references/stable/type.html

 

fiel资源测试

文件的基本语法结构

类型 { 标题： 

    属性 => 值， 

}  [root@server ~]# vi /etc/puppet/manifests/site.pp
node default {


file {   //定义一个资源，需要指定资源的类型

"/var/www/index.html":  //资源的title，注意后面是冒号

content=>"hello,this is a test page!\n"  //网页文件的内容


}

}

客户端主动执行

[root@client ~]# puppetd --test --server server.cluster.comwarning: peer certificate won't be verified in this SSL sessioninfo: Caching certificate for server.cluster.cominfo: Caching certificate_revocation_list for cainfo: Caching catalog for station185.cluster.cominfo: Applying configuration version '1357100899'notice: /Stage[main]//Node[default]/File[/var/www/html/index.html]/ensure: 

defined content as '{md5}c7e578db91d92f2ea46417529fc318cb'

info: Creating state file /var/lib/puppet/state/state.yaml

[root@client ~]# service httpd start

正在启动 httpd：                                   [确定]

 

其他的电脑访问client.cluster.com的网页

//网页文件已经分发下去

 

 

 

 

 

 

文件分发测试

[root@server~]# cat /var/www/html/index2

I'm test 2 page

[root@server ~]# 

[files]

path /var/www/html/

allow *.cluster.com

[root@server ~]# cat /etc/puppet/manifests/site.pp 

node default {

file {

"/var/www/html/index2":

source=>"puppet://server.cluster.com/var/www/html/index.html"

 

}

}

 

[root@client ~]# puppetd --test --server server.sxkj.com

notice: Ignoring --listen on onetime run

info: Caching catalog for client.cluster.com

info: Applying configuration version '1332991088'

notice: /Stage[main]//Node[default]/File[/var/www/html/index2]/ensure: 

defined content as '{md5}e4d7f1b4ed2e42d15898f4b27b019da4'

 

[root@client ~]# rm -rf /var/www/html/*

[root@client ~]# puppetd --test --server server.cluster.com

notice: Ignoring --listen on onetime run

info: Caching catalog for client.sxkj.com

info: Applying configuration version '1332997931'

notice: /Stage[main]//File[/var/www/html/index2]/ensure: defined content

as '{md5}118e847807383ab42d0d2a0284d7b30c'

notice: Finished catalog run in 5.59 seconds

 

还要很多其他的部署

修改文件权限

cat /etc/puppet/manifests/site.pp

node "client.cluster.com" {

        file {

        "/tmp/testfile":

        source => "puppet://server.sxkj.com/files/testfile",

        owner => puppet,

        group => puppet,

        mode => 600

        }

}

 exec资源

 

[root@server ~]# vi /tmp/test.sh

[root@server ~]# cat /tmp/test.sh

#!/bin/bash

touch /root/{11,22,33}

[root@server ~]# cat /etc/puppet/manifests/site.pp

node "client.sxkj.com" {

         file {

"/tmp/test.sh":

                   source => "puppet://server.sxkj.com/files/test.sh",

                   notify => Exec["exec-touch"]  //触发exec-touch这个动作

         }

 

         exec {     

"exec-touch":

                  cwd => "/tmp/",        //当前工作目录

                       command => "sh /tmp/test.sh",  //执行命令

                       user => "root",                 //以root用户身份执行

                       path => "/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin"

            //命令执行的路径

         }

}

 

 

 service资源

 

service { 

"vsftpd":

ensure => "running";    //启动客户端vsftpd

       

    "httpd":

 

ensure => "stopped";    //关闭客户端httpd

}

package资源软件包的安装卸载

 

[root@server ~]# cat /etc/puppet/manifests/site.pp

node "client.cluster.com" {

        package {

                ["httpd","vsftpd"]:

                ensure => absent;  

//卸载，如果卸载的时候有依赖可以换用purged

                ["mysql"]:

                ensure => installed;   //安装

}

}

 

puppet 文件同步  ---rsync需要下载rsync模块  同步效率比直接用rsync要差

[root@server ~]# mkdir -p /etc/puppet/modules/

[root@server ~]# cd /etc/puppet/modules/

//进入模块路径

[root@server modules]# git clone https://github.com/onyxpoint/pupmod-concat &&

mv pupmod-concat  concat  //下载并重命名为concat

[root@server modules]# git clone https://github.com/onyxpoint/pupmod-rsync &&

mv pupmod-rsync rsync   //下载并重命名为rsync

[root@server modules]# ls /etc/puppet/modules/

concat  rsync

 

node 'server.cluster.com' {      //需要安装rsync server的主机名

include 'rsync::server'       //执行rsync::server类

 

# Set up the global configuration options.

rsync::server::global { 'global':

  address => '10.1.1.18'       //设置rsync server的主机IP地址

}

 

# Now set up some rsync shares

rsync::server::section { 'default':      //共享目录default

  comment => 'The default file path',

  path => '/etc/puppet/modules/',   //真实路径

  hosts_allow => '10.1.1.185'    //允许访问的客户端IP

}

}

node 'client.cluster.com' {             //客户端主机名

include 'rsync'

 

rsync { 'default':

  source  => 'default',     //服务器上的rsync模块名

  target  => '/tmp/',      //同步到客户端的/tmp目录

  server => '10.1.1.18'  //rsync server的主机IP

  }

}

server端运行puppet

puppetd --test --server server.sxkj.com  自动生成rsyncd.conf文件