背景
用一个问题开篇:一个服务能够run起来,到底需要些什么?
做过部署系统的同学会对这个问题认识比较深,总结一下,我们可以归为如下几类:
1、程序本身的代码文件,嗯,这个不用解释
2、需要的配置,比如测试环境下有一套配置,开发环境、线上环境各有一套配置,还有甚者,一个idc一套配置
3、环境依赖,比如语言环境:Python2.7、JDK6,一些操作系统特性等
4、运行时依赖,比如我需要上游某个模块提供的rpc接口的支持,需要用到MQ等等
看起来,要部署个程序还是比较麻烦的嘞,那怎么做才会相对容易一些呢?如果程序最后能把所有依赖的东西打成一个包(比如统一要求是tar.gz格式),扔到任何一个地方去,我们只需要解压,然后使用解压出来的start.sh即可启动执行,那就太棒了!
buildpack就是解决这个问题的……
相关术语
在CloudFoundry中,最后打成的那个tar.gz的包,称为droplet,任何一个DEA拿到这个droplet,解压然后start即可。那具体应该如何打包?打包过程应该是运行一系列的脚本吧,这个脚本在哪里?一般来讲,脚本文件为了备份和版本化需求我们一般会放到git或svn上,嗯,现在可以解释什么叫buildpack了:它是一坨脚本,一般是放到git上作为一个project的形态存在,这坨脚本的作用是把用户写好的程序(CloudFoundry中一般称为app)、及其依赖的环境、配置、启动脚本等打包成droplet,这个过程称之为stage。
工作流介绍
app开发人员在命令行调用cf push之后,流程是如何走的,经过哪些步骤,在什么时候开始stage,完事之后又经历了什么,可以查看 cf push之后到底发生了什么:
buildpack目录结构
buildpack是工作在CloudFoundry这个大框架下的,我们知道,但凡工作在框架下的东西就要尊从一些规范,这是框架和你交互协调的根基。buildpack也不例外,CloudFoundry要求,buildpack至少含有一个bin目录,bin目录下有三个文件,文件名固定,分别是:
detect # 这个文件的作用是侦测你的项目,比如是个Java项目 or php项目,用的什么Runtime和Framework之类的
compile # 这是buildpack的核心文件,一般作用就是去拉取相应的Runtime(e.g. python2.7/ruby1.9.3)下来,做一下配置放到指定位置,拉取相应的Framework(e.g. Flask/Django)下来,做一下配置,放到指定位置
release # 这个文件最终要求输出一个yaml,来描述如何启动app之类的
三个脚本由Cloudfoundry顺次执行
如果编写buildpack过程需要创建其他文件夹或文件,其位置怎么安排都可以,CloudFoundry框架方面没有什么限制
自定义buildpack实例
下面我们自定义一个buildpack来支持java web项目,使用JDK7和tomcat7来跑,jdk和tomcat都要从公司内网来下载,版本可以稍微放宽,支持jdk6、7、8,tomcat也可以支持多个版本
detect内容大致如下:
#!/usr/bin/env bash # cf 会给detect脚本传入一个参数,即build dir,里边就是那一坨app散文件 BUILD_DIR=$1 # 既然是java web的项目,而且跑在tomcat上,我们没别的要求,只要web.xml位于规范位置即可 if [ -d "${BUILD_DIR}/WEB-INF" ] && [ -f "${BUILD_DIR}/WEB-INF/web.xml" ]; then # 按照惯例,一般会把所侦测到的项目类型echo出来, # 这个echo出来的字符串和compile、release脚本没有半毛钱关系 echo "JavaWeb" # 返回0表示detect成功执行,cf会继续执行compile,返回非0值cf就不继续往下走了 exit 0 fi echo "no" exit 1
compile文件做的事情稍微复杂一些,如果觉得bash不能胜任,随便用什么脚本语言来搞都OK,cf为compile脚本传入了两个参数:build dir和cache dir,build dir与传给detect文件的内容一致,cache dir是一个临时目录,比如我们在compile过程中下载jdk和tomcat之类的,就可以用cache dir做个中转。
#! /usr/bin/env ruby # detect、compile、release这几个文件都没有后缀,用你喜欢的语言就好,这里是用的ruby $stdout.sync = true # 自己创建了一个lib目录,塞入环境变量, # 如之前所述,除了bin目录必须固定之外,其他文件(夹)随你喜欢来安排 $:.unshift File.expand_path('../../lib', __FILE__) require 'global' require 'main_pack' require 'fileutils' build_path = ARGV[0] cache_path = ARGV[1] FileUtils.mkdir_p(build_path) FileUtils.mkdir_p(cache_path) # 主要逻辑都放在MainPack里了,无非就是下载、配置 pack = MainPack.new(Global.new(build_path, cache_path)) pack.compile
注意:
1、为了提高下载速度,免受网络困扰,同时增加掌控力度,我们一般会把依赖的tar包放到内网某个位置去自己管理
2、build_dir/.profile.d/*.sh文件都会在运行app之前由CloudFoundry帮我们提前运行,那在此导出一些环境变量之类的就比较方便了
release文件的内容大体为:
#!/usr/bin/env ruby require 'yaml' yml = { 'addons' => [], 'config_vars' => {}, 'default_process_types' => { 'web' => './bin/catalina.sh run' } }.to_yaml puts yml
default_process_types字段下面的web字段的值就是告诉CloudFoundry如何启动这个app,当然,我们可以在push应用的时候覆盖这个配置,稍候介绍~
如何使用自定义buildpack
这个很easy,进入app所在的目录,push即可:
cd /path/to/your/app cf push --buildpack git://git.xiaomi.com/cf/cf-bp-javaweb-tomcat --command ./start.sh
--buildpack就是用来指定自定义buildpack地址的,--command是用来指定自定义启动命令的,如果你的启动脚本是在app根目录下的start.sh,那就可以用上面的这条命令来push应用
坑
1、bin目录下的detect、compile、release三个文件要求本身有可执行权限,cf不会给你chmod +x,所以我们需要在放到git中的时候就要求有可执行权限
2、stage的时候,cf把我们的app文件放到了这里:/tmp/staged/app,运行时放到了这里:/home/vcap/app,是的,你没看错,二者目录不同,这就需要注意了,特别是安装一些lib组件的时候,当时为了支持python的buildpack就搞的比较恶心,需要安装setuptools、pip和gunicorn,最后是放在了程序启动前来做的,而不是compile阶段
3、在支持嵌入式jetty程序的时候,如果你用了WebAppContext可能也会有问题,没有任何提示信息,就是死活起不来,后来追查发现jetty会为WebAppContext自动创建一个临时目录,猜测可能是没有创建成功,至于为啥没成功一直没有追出来,最后的方案是在程序启动之前提前创建好这个临时目录:mkdir -p /home/vcap/app/work,你如果搞出来了来留言分享一下吧 :)
4、如果你的CloudFoundry跟我们一样没有采用bosh管理,很可能rootfs里缺少一些unzip之类的命令,这个也会使stage失败,提前把一些常用的工具命令装到rootfs里是个明智的选择
示例
1、javaweb的buildpack,使用tomcat作为web容器:
http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git
2、支持python的buildpack:
http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-python.git
结语
总体来看,buildpack帮助paas平台完成了一个app在部署层面的抽象,主要搞定app依赖的runtime和framework,相当于搞定了静态依赖。操作系统特性通过统一定制rootfs来搞,不在buildpack问题域,配置文件差异问题,buildpack认为一个app一套配置,上层怎么处理,开发人员自己说了算,可以搭建多套CloudFoundry或者创建不同的app:dev-app/prod-app之类;运行时依赖也需要开发人员自己搞定,提前确认好相应的依赖是否已经在run,版本是否OK之类。
有任何问题欢迎留言讨论,谢谢支持 :)
相关推荐
在这个场景中,"has项目"显然是一个基于Java Web的应用程序,而"buildpack"是Cloud Foundry用来识别和配置运行环境以支持特定语言或框架的关键组件。 Buildpacks包含了构建和运行应用所需的依赖,例如JRE(Java运行...
### CloudFoundry中MongoDB的应用 #### CloudFoundry简介与特性 CloudFoundry是一个由VMware发起并维护的开源PaaS(Platform as a Service)云计算平台。它为开发者提供了广泛的自由度来选择运行应用程序的云环境...
此外,Spring Cloud与Cloud Foundry的整合进一步增强了服务发现和配置管理。Spring Cloud为Cloud Foundry中的服务提供了注册与发现机制,通过Spring Cloud Config Server,应用程序可以在运行时动态获取或更新配置...
在"Cloud Foundry 中的新增功能-中英文"的主题中,我们将会探讨这个平台的最新发展和增强功能。 首先,Cloud Foundry的更新通常关注于提高开发者体验、增强可移植性、提升性能以及确保安全性。例如,可能有新的APIs...
海峰可能详细解释了SpringOne China活动中,如何通过Cloud Foundry实现Spring应用的快速部署和生命周期管理,同时分享了相关的最佳实践和案例。 最后,"刘海峰_盛大云PaaS平台.ppt"可能涉及的是盛大云(现为青云...
本书详细介绍了Cloud Foundry的概念、安装、配置、应用的开发与部署、服务的管理等核心知识点。从如何快速开始使用Cloud Foundry,到深入了解其内部架构和扩展性,书中都提供了系统的说明和指导。 在Cloud Foundry...
通过以上介绍可以看出,CloudFoundry的服务网关不仅提供了丰富的功能和服务管理能力,还为开发者提供了灵活多样的服务构建方法。无论是初学者还是高级开发者,都能够从中受益匪浅。在未来的发展中,CloudFoundry将...
此外,Cloud Foundry还与vSphere/vCloud等本地IaaS平台深度集成,为企业提供了公共、私有或混合的PaaS/IaaS解决方案。这不仅促进了国内云计算技术的发展,也为开发者提供了更多样化的选择和便利。 #### 开始使用...
CloudFoundry的介绍文档,入门必备
Cloud Foundry Node.js构建包 用于基于节点的应用程序的Cloud Foundry 。 Buildpack用户文档 官方buildpack文档可在找到。 构建Buildpack 要构建此buildpack,请从buildpack的目录中运行以下命令: 在buildpack...
在Cloud Foundry生态系统中,开发者可以利用开源的Apache 2.0许可证获取代码,并在GitHub上进行托管。VMware鼓励第三方不仅在自己的CloudFoundry.com平台上部署应用,还可以创建私有云或公共云平台,提供更多的特性...
在探讨“Cloud Foundry中Ruby的应用”这一主题时,我们首先需要深入了解Cloud Foundry与Ruby在现代软件开发和云计算环境中的角色与价值。 ### Cloud Foundry:一个革命性的PaaS平台 Cloud Foundry是一个开放源代码...
【标题】"cloudfoundry-runtime-0.8.4_Java8_cloud_" 指的是一个针对 Cloud Foundry 运行时环境的特定版本,这个版本是为 Java 8 语言定制的。Cloud Foundry 是一个开源的平台即服务(PaaS)系统,允许开发者构建、...
Cloudfoundry
综上所述,基于CloudFoundry的PaaS云平台的设计与实现,不仅需要深入理解和分析CloudFoundry的技术架构和组件,还需要在实际构建过程中,根据自身的需求进行定制开发。CloudFoundry通过其开放性和对多种语言框架的...
Get started with Cloud Foundry, the leading Platform as a Service (PaaS) that’s dramatically changing how developers, operations practitioners, and especially DevOps teams deploy applications and ...
Cloud Foundry的主要特点包括开放源代码、支持多种编程语言和框架、以及与企业常用的开发运维工具和流程的兼容性。它的架构允许多个用户共享同一物理硬件资源,通过动态隔离的方式提供不同用户的应用服务。它还能...
Cloud Foundry BOSH 是一个强大的云管理和部署工具,由VMware开发并开源,主要用于简化Cloud Foundry平台的应用程序实例管理及大规模部署。BOSH的主要目标是实现自动化、无缝的组件更新,减少停机时间,同时支持跨...
CloudFoundry开源云计算平台简介rar,提供“CloudFoundry开源云计算平台简介”免费资料下载,主要包括Cloud Foundry的概述、Cloud Foundry的架构、使用Cloud Foundry部署应用等内容,可供学习使用。