python 自动上传发布上线

         

程序介绍

目前操作还是基于cli命令方式，后期我会考虑集成到Dsso中，以web方式来操作。

本程序能满足你日常的项目上线更加的流程化、自动化。

本程序是由python所编写。

需要安装的模块如下表：

软件/模块	版本	备注
python	2.7.10
paramiko	1.16.0	用于ssh链接服务器
progressbar	2.3-py2.7	google的一个进度条python模块

由于考虑到有些人不愿意安装python、这边也提供了使用exe执行实现自动化上线。

本人的计算机是win7 64bit 运行没问题。

程序结构

本程序由4-5个目录构成（bin、conf、log、script、dist、build）:

• bin：存放了主程序文件。
• conf：存放了配置文件。
• log：存放了运行过程中的日志文件。有两种日志文件一个是自己记录的log，还有一个是paramiko模块记录的exec_cmd_xx.log）。
• script：存放了执行远程服务器shell的命令文件（有两个一个是为了停止服务cmd，另一个是启动服务stop_server.cmd）。
• dist：如果是使用exe版就存在此目录 -> 存放执行主程序。
• build：如果是使用exe版就存在此目录 -> 存放python编译后的文件。

程序流程图

 

python上传流程图

如何使用

• python版

1. 进入conf文件夹，打开配置文件，配置相关的设置如（主机名、端口、用户名、密码等等）
2. 进入script文件夹，分别打开停止和开启服务的命令文件，填写你需要执行的shell命令。一个命令需要写在一行里面，可以使用“#”注释。当然如果你不需要执行命令也可以不写。
3. 进入bin文件夹，双击py。

注意：如果你是在dos窗口下执行需要 cd 到bin文件夹下运行 python upload_distribute.py。

• exe版

1. 进入conf文件夹，打开配置文件，配置相关的设置如（主机名、端口、用户名、密码等等）
2. 进入script文件夹，分别打开停止和开启服务的命令文件，填写你需要执行的shell命令。一个命令需要写在一行里面，可以使用“#”注释。当然如果你不需要执行命令也可以不写。
3. 进入dist文件夹，双击exe执行主程序。

执行过程展示

python上传执行过程图

相关文件展示

• 配置文件

这里展示了配置两个模块：easy、bee。其中easy是完整的，而bee有一部分被注释所以在运行程序，检测的时候会报错。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

[easy] host=192.168.137.12 port=22 username=root password=oracle # 需要上传的文件 local_file=C:\Users\Administrator\Desktop\index.html # 你需要上传的文件名和目录 remote_file=/usr/local/apache-tomcat-8.0.30/webapps/examples/index.html # 远程永久备份目录，文件上传后会创建一份备份 remote_backup_dir=/tmp/backup/new # 远程临时备份目录，备份原来存在的文件。用于失败自动恢复 remote_ori_backup_dir=/tmp/backup/ori # 启动服务命令文件 start_cmd_file=./../script/start_server.cmd stop_cmd_file=./../script/stop_server.cmd   [bee] #host = 192.168.137.11 #port = 22 #username = root #password = oracle # 需要上传的文件 local_file=C:\Users\Administrator\Desktop\a.txt # 你需要上传的文件名和目录 remote_file=/tmp/a.txt # 远程永久备份目录，文件上传后会创建一份备份 remote_backup_dir=/tmp/backup/ # 远程临时备份目录，备份原来存在的文件。用于失败自动恢复 remote_tmp_backup_dir=/tmp/tmp_backup/ # 启动服务命令文件 stop_cmd_file=./../script/start_server.cmd start_cmd_file=./../script/stop_server.cmd

 

• 命令文件

1.  stop_server.cmd

 

1 2	# ip addr del 192.168.137.22/24 dev eth0 source/root/.bash_profile&&/bin/bash/usr/local/apache-tomcat-8.0.30/bin/shutdown.sh

2. start_server.cmd

 

1 2 3 4

# ip addr add 192.168.137.22/24 dev eth0 # rm -rf /www/sample # cd /www && tar -zxf /www/sample.tar.gz source/root/.bash_profile&&/bin/bash/usr/local/apache-tomcat-8.0.30/bin/startup.sh

细心的人注意到以上的shell脚本尽然 添加了 source /root/.bash_profile &&，我这样使用的原因是。使用python ssh登陆linux执行shell的时候，感觉他不会执行用户家目录下的.bash_profile程序。因此有些程序执行的路径就会不对。例如，我的系统中自带的jdk版本是：OpenJDK 1.6.0_24，而我自己的环境变量中设置的是使用 java 1.7.0_79。所以他会只用 系统自带的jdk，这样不是我所希望的。

动脑筋的人可能会说那我在命令文件中的最开始就执行一次 source /root/.bash_profile 在后面每行命令前就不需要添加 source /root/.bash_profile && 了？很不行的告诉你，刚开始我也是这样想的，可惜在开发试验的过程中这样是不行的。所以个人感觉，他每次执行就好像是另外开启了一个session一样。

 

• 主程序

这里只展示程序的主过程：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

if__name__=='__main__':   try:     # 设置日志文件     time_str=str(time.time())     log_file='../log/upload_distribution_'+time_str+'.log'     logging.basicConfig(level=logging.INFO,                       format='%(asctime)s %(name)-12s %(levelname)-8s %(message)s',                       filename=log_file,                       filemode='w',                       datefmt='%Y-%m-%d %X')       # 定义配置文件路径     conf_file_name='../conf/upload_distribute.conf'     # 选择配置文件section     conf,section=select_section(conf_file_name)     # 检测配置文件正确性     check_config(conf,section)     # 执行停止命令     stop_cmd_file=conf.get(section,'stop_cmd_file')     exec_file_cmd(conf,section,stop_cmd_file)     # 备份原文件     backup_ori(conf,section)     # 上传文件     upload(conf,section)     # 备份新上传的文件     backup_new(conf,section)     # 执行启动命令     start_cmd_file=conf.get(section,'start_cmd_file')     exec_file_cmd(conf,section,start_cmd_file)          # 监听服务是否启动成功          # 实行完毕暂停     os.system('pause')   except Exception ase:     print traceback.format_exc()     __err_exit_show_msg(str(e))

 

小技巧

在上面我展示的执行过程是模拟发布tomcat项目上传单文件的，应为java web项目可以打包成一个war包用户上传和部署。但是如果是使用 nginx/apache 项目的总不肯能一个个文件的上传发布吧。

这里我们以你的 nginx/apache 项目是在 /www 目录下为例来说明一下（这里说明的是全量发布）：

1. 你可以将你要发布项目打包，如：tar.gz
2. 配置好配置文件。
3. 可以在cmd 文件中，在启动服务前执行移除之前项目和解包命令如：

 

 

1 2 3

rm-rf/www/sample cd/www&&tar-zxf/www/sample.tar.gz # 执行启动服务的命令.....

当然这样在你的/www目录下应该留下一个sample.tar.gz项目文件，对于本人来说是不影响的。

在这里多啰嗦一句，如果你的项目是做了负载，当你上项目的时候可以先 down 掉一个服务器中的虚拟IP（也有可能是不虚拟IP）不让外界访问。down 掉IP的命令可以写在 stop_server.cmd 文件中，如果发布并启动服务成功你需要UP IP，UP IP的命令可以写在start_server.cmd文件中。

Python源代码

python源码：distribute_project_py.tar.bz2

EXE可执行文件：distribute_project_exe.tar.bz2