puppet:编译安装+使用方法

 

Puppet使用方法总结                                 http://dongxicheng.org/cluster-managemant/puppet/

如何使用 Example42 的 Puppet 模块         http://www.vpsee.com/2012/05/using-puppet-modules-from-example42/

 

puppet是一种Linux、Unix平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源，puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。

 

 

puppet官方网站：http://www.puppetlabs.com/

puppet中文wiki：http://puppet.chinaec2.com/

puppet中文博客：http://www.comeonsa.com

 

　　puppet采用C/S星状的结构，所有的客户端和一个或几个服务器交互。每个客户端周期的（默认半个小时）向服务器发送请求，获得其最新的配置信息，保证和该配置信息同步。每个puppet客户端每半小时(可以设置)连接一次服务器端, 下载最新的配置文件,并且严格按照配置文件来配置服务器. 配置完成以后,puppet客户端可以反馈给服务器端一个消息. 如果出错,也会给服务器端反馈一个消息.

 

 

 

执行配置

puppetd --server server.cbcv.net  --test

 

查看执行频率
# puppet agent --configprint runinterval
10

显示执行过程
puppet agent --test --noop

 

 

=================================== 1 编译安装

 

请在所有操作前，先设置好你的hostname！ssl文件的生成是依赖这个参数的

 

 

在网上找了很多相关puppet的，有很多用yum安装，安装虽然成功了。但是有客户端相关过来请求，还是会有问题。最佳的还是源码安装。

一、下载地址：

puppet下载地址：
http://downloads.puppetlabs.com/puppet/puppet-2.7.13.tar.gz

facter下载地址：
http://downloads.puppetlabs.com/facter/facter-1.6.7.tar.gz
ruby下载地址：
http://ftp.ruby-lang.org/pub/ruby/1.8/ruby-1.8.7.tar.gz

二、环境准备：

1、时间必须一致:

crontab -e

 

    */2  *    *    *    *   /usr/sbin/ntpdate clock.nc.fukuoka-u.ac.jp >/dev/null 2>&1

2、首先gcc相关可用yum安装

yum install gcc-c++ 

yum install openssl*

3、服务器及客户端名字：

    [root@server bin]# vim /etc/hosts
    # Do not remove the following line, or various programs
    # that require network functionality will fail.
    #127.0.0.1              localhost.localdomain localhost
    ::1             localhost6.localdomain6 localhost6
    192.168.1.231      server.cbcv.net        server
    192.168.1.232      client.cbcv.net        client
    [root@server bin]# vim /etc/sysconfig/network
    NETWORKING=yes
    NETWORKING_IPV6=no
    HOSTNAME=server.cbcv.net


客户端为：HOSTNAME=client.cbcv.net
<客户端也是类似一样，略......>

 

 

三、安装应用软件
1、首先安装ruby
tar -zxvf ruby-1.8.7.tar.gz
cd ruby-1.8.7
./configure --prefix=/usr/local/ruby
make
make install
操作系统PATH路径:

vi  /etc/profile
export PATH=/usr/local/ruby/bin:$PATH

查看ruby --version版本

2、安装facter
tar -zxvf facter-1.6.7.tar.gz
cd facter-1.6.7           
ruby install.rb

3、安装puppet

    tar -zxvf puppet-2.7.13.tar.gz
    
    cd puppet-2.7.13/
    ruby install.rb
    # cp conf/auth.conf /etc/puppet/
   # cp conf/namespaceauth.conf /etc/puppet/
   # cp conf/redhat/puppet.conf /etc/puppet/
    # cp conf/redhat/server.init /etc/init.d/puppetmaster
   # chmod +x /etc/init.d/puppetmaster
    # /etc/init.d/puppetmaster start
    Starting puppetmaster: /bin/bash: /usr/sbin/puppetmasterd: No such file or directory
                                                               [FAILED]
      
   # cp sbin/puppetmasterd /usr/sbin/
   # chmod -R 777 /usr/sbin/puppetmasterd
    # cp sbin/puppetmasterd /bin/puppetmasterd
    # chmod -R 777 /bin/puppetmasterd
    # /etc/init.d/puppetmaster start         
    Starting puppetmaster: /usr/bin/env: ruby: No such file or directory
                                                               [FAILED]
   # ln -s /usr/local/ruby/bin/
    erb         filebucket  pi          puppetdoc   rdoc        ruby       
    facter      irb         puppet      ralsh       ri          testrb     
    # ln -s /usr/local/ruby/bin/ruby /usr/bin/
    # /etc/init.d/puppetmaster start         
    Starting puppetmaster: Could not prepare for execution: Got 6 failure(s) while initializing: change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet; change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet; change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet; change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet; change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet; change from absent to directory failed: Could not set 'directory on ensure: Could not find group puppet
                                                               [FAILED]
   # useradd puppet
    # /etc/init.d/puppetmaster start
    Starting puppetmaster:                                     [  OK  ]
    
    [root@server sbin]# pwd
    /usr/local/src/puppet-2.7.9/sbin
    cp -r * /usr/sbin/
    
    
    [root@server manifests]# chkconfig --add puppetmaster
    [root@server manifests]# chkconfig puppetmaster on




客户端其它安装和服务器安装相同，除了用cp conf/redhat/client.init /etc/init.d/puppet

    tar -zxvf puppet-2.7.13.tar.gz
    
    cd puppet-2.7.13/
    ruby install.rb


    # cp conf/auth.conf /etc/puppet/
    # cp conf/namespaceauth.conf /etc/puppet/
    # cp conf/redhat/puppet.conf /etc/puppet/
    # cp conf/redhat/client.init /etc/init.d/puppet
    # chmod +x /etc/init.d/puppet 
   # service puppet start
    Starting puppet: /bin/bash: /usr/sbin/puppetd: No such file or directory
                                                               [FAILED]
    # cp sbin/puppetd /usr/sbin/puppetd
    # service puppet start             
    Starting puppet: /usr/bin/env: ruby: No such file or directory
                                                               [FAILED]
    # chmod +x /usr/sbin/puppetd 
    # service puppet start       
    Starting puppet: /usr/bin/env: ruby: No such file or directory
                                                               [FAILED]
    # ln -s /usr/local/ruby/bin/ruby /usr/bin/
   # /etc/init.d/puppet start
    Starting puppet:                                           [  OK  ]


=================================== 2 安装完毕后进行测试：

在服务器端执行：
  #puppetca --list
应该是无
在客户端执行 #puppetd --server server.cbcv.net  --test
再到服务器端执行：
#puppetca –s client.cbcv.net
 clinet.cbcv.net (BF:5D:58:D0:F2:06:8C:FB:5C:AA:08:80:87:DC:92:20)

如果看到了客户端的证书请求，
针对客户端请求为
#puppetca -s client.cbcv.net
也可以用下面的命令对所有证书请求签名：
  #puppetca -s -a

 

在主服务器上:
#vim /etc/puppet/manifests/site.pp
node default{
   file { "/tmp/test.txt":
           content=> "hello, Test";
}
}

再重启一下服务器service puppetmaster restart 和客户端service puppet restart
在客户端执行puppetd --server server.cbcv.net  --test
看/tmp下面是不是有test.txt文件了

 

----------------
增加多个site.pp
可以先在site.pp中增加
import "test.pp"
然后再在里面执行需要操作的内容。
可用puppetd --server server.cbcv.net  --test进行测试。
如果有报错：notice: Ignoring --listen on onetime run
notice: Skipping run of Puppet configuration client; administratively disabled; use 'puppet Puppet configuration client --enable' to re-enable.
那么需要在客户端执行puppet agent --enable即可。
puppet agent --disable为关闭。

 

记得重启puppetmaster和puppet

 

 

--------------------------- 多个node

在服务器端

#vim /etc/puppet/manifests/site.pp

node 'client'{
   file { "/tmp/test.txt":
           content=> "site1, Test";
    }
}
node 'client2'{
   file { "/tmp/test.txt":
           content=> "site2, Test";
    }
}

 

 

#service puppetmaster restart

 

客户端：
#service puppet restart

#puppetd --server server.cbcv.net  --test

 

 

 

 

---------------

以下为参考内容，感觉非常不错：
默认时间vim /etc/puppet/puppet.con
runinterval =1800 ###默认是30分钟，可以修改此处的值，单位为秒
有的时间修改了这个没有用，是什么原因呢：
我也曾修改过多次，没效果，后在客户端的配置文件再加了一句server = server.cbcv.net
然后重启
在客户端修改即可！最好重启一下server puppet restart

puppet 如何全客户端自动签名
a.vim /etc/puppet/puppet.conf
[puppetmaster]
autosign=true      #增加这两行
autosing=/etc/puppet/autosign.conf 
#增加这两行添加
* 表示所有，或者添加域名,IP或者网段。举例：
b.再编辑 /etc/puppet/autosign.conf**.test.com192.168.0.1/24




错误总结<此错误是因为用了yum去安装。看到别人写的OK......>：
第一次认证的时候报下边的错误：
[root@client ~]# puppetd --server server.cbcv.net  --test
err: Could not retrieve catalog from remote server: certificate verify failed
我做测试发现的原因有三种：
第一：是hostname没有设置好，在安装前一定要把hostname设置好，设置好之后尽量重启机器。实在不行就删了重新安装。
第二：时间不同步，时间不同步也会报认证失败的错误，可以用date设置时间，只要不是差得太多就没事。
第三：是ssl的问题，在你用的这个客户端puppet已经做过其他的机器的客户端的情况下，因为已经生成的有证书，可能会和现在的冲突，把/var/lib/puppet/ssl这个文件夹删掉之后就行了。


1.3配置c/s模式的puppet的实验环境
Puppet的的客户端和服务端是靠ssl链接的，在服务端有一个自签名的根证书，在安装软件的时候自动生成。每个客户端的证书要经过根证书签名才能和服务器连接。所以首先要在客户端执行下面的命令来请求服务器签名证书。
puppetd --server server.cbcv.net --test

------------------------------问题:

err: Could not retrieve catalog from remote server: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed.  This is often because the time is out of sync on the server or client

这个:问题才是真正因为时间不同步导致的，出现这个问题：可以先删除/var/lib/puppet/ssl/目录下的文件之后，利用ntpdate time.nist.gov 命令进行时间同步后，再分别启动服务器和客户端，请注意，客户端和服务器都需要删除，重启服务后自动生成ssl目录下的文件。

一切正常后，会在/var/lib/puppet/ssl/certs/hostname.pem 文件

所以，请在所有操作前，先设置好你的hostname！ssl文件的生成是依赖这个参数的

 

 

 

 

=================================== 3 使用方法

 

 

4.  配置脚本编写

本节介绍puppet的配置脚本编写方法，主要是指puppet的manifest编写方法。puppet把需要管理的内容抽象成为资源，每种资源有不同的属性，因此puppet语言就是描述这些资源的属性以及资源之间关系的语言。

为了便于管理，puppet将资源模块化，即每个功能模块的manifest单独放在一个目录下。每个模块包含一个主要的manifest文件（init.pp，它是模块的入口，类似于C语言中的main函数），里面包含若干个class对该模块的资源进行封装，常见的资源有file，package，service等，每种资源由自己的属性，如file有属性name，owner，mode等。

本节主要介绍puppet中manifest的编写方法，将依次介绍资源属性，资源，节点管理，函数和模块的编写方法。

4.1   资源属性

资源属性有两种，一种是资源专属属性，另一种是资源共同属性，对于资源专属属性，将在下一节介绍；而资源共同属性是所有资源共有的属性，主要有：

before

用于控制不同对象（资源）的执行顺序关系，表示某个对象（资源）在另一个对象之后发生（require与之相反，它表示之前发生）。如：

file { “/var/nagios/configuration”:

source  => “…”,

recurse => true,

before => Exec["nagios-rebuid"]

}

exec { “nagios-rebuild”:

command => “/usr/bin/make”,

cwd => “/var/nagios/configuration”

}

这段代码保证用make编译之前，所有代码都是最新的。也可以before多个资源，如：

before => [ File["/usr/local"], File["/usr/local/scripts"] ]

subscribe

检测某个资源，当它发生变化时，该资源会重新加载，如：

class nagios {

file { “/etc/nagios/nagios.conf”:

source => “puppet://server/module/nagios.conf”,

alias => nagconf # just to make things easier for me

}

service { nagios:

ensure => running,

subscribe => File[nagconf]

}

}

当检测到文件nagconf被修改时，服务nagios会相应的更新。需要注意的是，目前支持subscribe的资源只有exec，service和mount。

更多资料，参见：http://docs.puppetlabs.com/references/latest/metaparameter.html

4.2   资源

常用的资源主要有以下几个：

file：文件管理

package：软件包管理

service：系统服务管理

cron：配置定期任务

exec：运行shell命令

(1)    file资源

更详细资料，可参见：http://puppet.wikidot.com/file

(2)    package资源

更详细资料，可参见：http://puppet.wikidot.com/package

(3)    service资源

更详细资料，可参见：http://puppet.wikidot.com/srv

(4)    exec资源

更详细资料，可参见：http://puppet.wikidot.com/exec

(5)    cron资源

更详细资料，可参见：http://puppet.wikidot.com/cron

4.3   节点管理

puppet如何区分不同的客户端，并且给不同的服务端分配manifest呢？puppet使用node资源做这件事情，node 后面跟客户端的主机名，例如：

node ‘ slave00 ‘ {

include ssh

}

node ‘ slave11 ‘ {

$networktype=”tele”

$nagioscheckport=”80,22,3306″

include apache, mysql, php

}

资源node中可使用变量，也可直接通过include把其他manifest包含进来。

更详细资料，可参见：http://docs.puppetlabs.com/references/latest/type.html

4.4   类和函数

类可以把多个相关的资源定义在一起,组成一个类。类可以继承，具体参见：http://docs.puppetlabs.com/guides/language_guide.html#resource-collections

函数（在puppet中称为“defination”）可以把多个资源包装成一个资源，或者把一个资源包装成一个模型，便于使用。例如，在debian里面管理一个apache虚拟机非常简单,把一个虚拟主机的配置文件放到/etc/sites-available/里面,然后做一个符号链接到/etc/sites-enabled目录。 你可以为你每个虚拟主机复制同样的配置代码，但是如果你使用下面的代码就会更好和更简单：

define virtual_host($docroot, $ip, $order = 500, $ensure = “enabled”) {

$file = “/etc/sites-available/$name.conf”

# The template fills in the docroot, ip, and name.

file { $file:

content => template(“virtual_host.erb”),

notify  => Service[apache]

}

file { “/etc/sites-enabled/$order-$name.conf”:

ensure => $ensure ? {

enabled  => $file,

disabled => absent

}

}

}

然后,你就可以使用这个定义来管理一个apache虚拟主机，如下面代码所示：

virtual_host { “reductivelabs.com”:

order   => 100,

ip      => “192.168.0.100″,

docroot => “/var/www/reductivelabs.com/htdocs”

}

4.5   模块

一个模块就是一个/etc/puppet/modules目录下面的一个目录和它的子目录，在puppet的主文件site.pp里面用import modulename可以插入模块。新版本的puppet可以自动插入/etc/puppet/modules目录下的模块。引入模块，可以结构化代码，便于分享和管理。例如关于apache的所有配置都写到apache模块下面。一个模块目录下面通常包括三个目录：files，manifests，templates。manifests 里面必须要包括一个init.pp的文件，这是该模块的初始（入口）文件，导入一个模块的时候，会从init.pp开始执行。可以把所有的代码都写到init.pp里面，也可以分成多个pp文件，init 再去包含其他文件。files目录是该模块的文件发布目录，puppet提供一个文件分发机制，类似rsync的模块。templates 目录包含erb模型文件，这个和file资源的template属性有关。

puppet安装好以后，modules目录是没有的，自己建立一个就行，然后在里面可以新增加你的模块。

5.  编程实例

5.1    Hello World

本节介绍了一个非常简单的编程实例：一个slave从master中获取其manifest，该maniftest要求slave依次做以下工作：安装gcc，创建文件夹/home/dxc/test，下载文件hello.c程序，编译hello.c。

(1)    代码结构组织

Master上代码的目录结构如下：

|– auth.conf

|– fileserver.conf   #puppet文件服务器配置文件

|– manifests   #puppet主文件所在目录

|   |– modules.pp        #puppet各个模块汇总

|   |– nodes         #各个slave要处理的模块

|   |   `– execHello.pp      #hello模块对应由那些slave处理

|   `– site.pp                  #puppet主文件（入口文件）

|– modules     #puppet的各个模块所在文件

|   `– hello   #hello模块

|       |– files    #该模块对应的文件资源，可能是要发送给slave的配置文件等

|       |   `– hello.c

|       `– manifests   #模块的manifest文件

|           `– init.pp                  #模块入口文件

`– ssl       #puppet的证书文件目录

(2)    程序执行流程

代码调用顺序是：

Slave发起连接请求 à site.pp à nodes àmodules à init.pp

首先，slave向发起master连接请求，进行证书验证；

接着，证书验证通过后，master会直接找到入口文件manifests目录下的site.pp文件，该文件可能包含一些全局变量，参数缺省值（当各个模块没有设置这些参数时，它们的缺省值）以及其它pp文件的调用（在该例子中，会调用modules.pp和nodes下的各个pp文件）；

然后，master通过nodes下的各个pp文件定位到该slave要执行的模块（init.pp是各个模块的入口），汇总这些模块代码返回给slave；

最后，slave根据master发过来的manifest，配置信息。

(3)    代码解释

直接在此处下载代码。

5.2   一个更复杂的实例

本节介绍了一个更为复杂的某个公司正在使用实例，puppet代码布局与上一个实例一致，只不过该实例涉及到更多模块，更复杂的依赖管理。代码具体内容本节就不解释了，具体参见代码。

6.  可能遇到的问题

Q: puppet的证书机制

A: puppet证书问题是初学者最容易遇到的问题，这里讲一下怎么处理。puppet服务器端在安装或者首次启动的时候，会自动生产一个根证书和服务器证书，证书和主机名相关，因此如果证书生成后友改了主机名，那就会出问题。 puppet客户端在首次启动的时候，也会自动生成证书；但是这个证书需要得到puppet服务器端的签名才行，因此；puppet客户端第一次连接服务器的时候，会发送一个证书请求；服务器端需要对这个证书进行签名。puppet客户端在下次连接服务器的时候就会下载签名好的证书。

Q:Ubuntu下面的证书出错，怎么解决?

A:本方法是提供给初学者的测试环境，生成环境不建议这么做。首先在puppetmaster(服务器端)删除/var/lib/puppet/ssl目录;然后启动puppetmasterd；然后在客户端也删除/var/lib/puppet/ssl目录。把puppetmaster机器的主机名和对应的ip地址写入客户端机器的/etc/hosts。

然后执行：puppetd –test –server server.example.com. 把server.example.com替

换成你自己的服务器主机名。 执行这个命令，会有提示信息，不用理会。

然后登录到puppetmaster服务器机器，执行puppetca –list 命令，看看是否有客户端的证书请求；如果没有，请检查前面的步骤是执行正确，以及网络连接是否正常。 如果puppetca –list 能看到请求，那么执行puppetca -s -a 命令；对所有的证书请求签名。最后回到puppet客户端机器，执行

puppetd –test –server server.example.com.

就能建立连接了，如果你的site.pp写好了.就可以测试puppet了。

补充：如果客户端和服务器端的时间不一致也会导致证书认证失败，因此出现证书问题的时候需要检查两台机器的时间是否一致，如果不一致用date命令或者ntpdate命令让两台机器的时间一致。

Q:出现错误[Puppet Users] err: Could not retrieve catalog; skipping run

A：可能是由于安装了两个版本的ruby或者facter的原因，解决方案见：

https://projects.puppetlabs.com/issues/5279

7.  总结

随着服务器集群规模越来越大，自动化配置和部署这些服务器能够使管理变得非常容易并大大减小管理部署成本，因而得到IT公司的高度重视。

本文档介绍了puppet，一种新型的软件自动化配置和部署工具。本文主要内容涉及puppet的架构，安装和使用方法，并给出了两个使用实例。

在大规模的生成环境中，如果只有一台puppetmaster会忙不过来的，因为puppet是用ruby写的，ruby是解析型语言，每个客户端来访问，都要解析一次，当客户端多了就忙不过来，所以需要扩展成一个服务器组。puppetmaster可以看作一个web服务器，实际上也是由ruby提供的web服务器模块来做的。因此可以利用web代理软件来配合puppetmaster做集群设置，具体参见：http://puppet.wikidot.com/puppetnginx 。

 

 

 

 

===============================puppet自动认证

首先我们先来看一个问题，新服务器可以通过kickstart自动安装完，并且自动安装完puppet相关包，安装完后客户端会请求证书，然后服务器会给客户端颁发证书，如果手动颁发很麻烦，如下配置可以让服务器自动验证。

前提是配置好hosts：
Master 192-168-0-130.APP.com
Client 192-168-0-131.APP.com

在服务器端的puppet.conf配置文件里面[main]下方加上autosign = true，重启puppetmaster服务即可！
这样在客户端执行puppetd --server=192-168-0-130.APP.com --test 服务器端会自动认证！

 
==============================重新生成证书

很多时候由于更换主机名，我们需要重新配置认证：
（1）、首先在客户端删除 rm -rf /var/lib/puppet/ssl/文件夹
（2）、然后在服务器端删除客户端的证书：puppetca --clean 192-168-0-131.APP.com 【 192-168-0-131.APP.com 客户端的主机名】
（3）、然后再在客户端执行puppetd --server=192-168-0-130.APP.com --test 即可！