`
morflame
  • 浏览: 49519 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

CloudFoundry中buildpack介绍与自定义实践

阅读更多

背景

用一个问题开篇:一个服务能够run起来,到底需要些什么?

做过部署系统的同学会对这个问题认识比较深,总结一下,我们可以归为如下几类:

1、程序本身的代码文件,嗯,这个不用解释

2、需要的配置,比如测试环境下有一套配置,开发环境、线上环境各有一套配置,还有甚者,一个idc一套配置

3、环境依赖,比如语言环境:Python2.7、JDK6,一些操作系统特性等

4、运行时依赖,比如我需要上游某个模块提供的rpc接口的支持,需要用到MQ等等

看起来,要部署个程序还是比较麻烦的嘞,那怎么做才会相对容易一些呢?如果程序最后能把所有依赖的东西打成一个包(比如统一要求是tar.gz格式),扔到任何一个地方去,我们只需要解压,然后使用解压出来的start.sh即可启动执行,那就太棒了!

 

buildpack就是解决这个问题的……

 

相关术语

在CloudFoundry中,最后打成的那个tar.gz的包,称为droplet,任何一个DEA拿到这个droplet,解压然后start即可。那具体应该如何打包?打包过程应该是运行一系列的脚本吧,这个脚本在哪里?一般来讲,脚本文件为了备份和版本化需求我们一般会放到git或svn上,嗯,现在可以解释什么叫buildpack了:它是一坨脚本,一般是放到git上作为一个project的形态存在,这坨脚本的作用是把用户写好的程序(CloudFoundry中一般称为app)、及其依赖的环境、配置、启动脚本等打包成droplet,这个过程称之为stage。

 

工作流介绍

app开发人员在命令行调用cf push之后,流程是如何走的,经过哪些步骤,在什么时候开始stage,完事之后又经历了什么,可以查看 cf push之后到底发生了什么

 

buildpack目录结构

buildpack是工作在CloudFoundry这个大框架下的,我们知道,但凡工作在框架下的东西就要尊从一些规范,这是框架和你交互协调的根基。buildpack也不例外,CloudFoundry要求,buildpack至少含有一个bin目录,bin目录下有三个文件,文件名固定,分别是:

detect # 这个文件的作用是侦测你的项目,比如是个Java项目 or php项目,用的什么Runtime和Framework之类的

compile # 这是buildpack的核心文件,一般作用就是去拉取相应的Runtime(e.g. python2.7/ruby1.9.3)下来,做一下配置放到指定位置,拉取相应的Framework(e.g. Flask/Django)下来,做一下配置,放到指定位置

release # 这个文件最终要求输出一个yaml,来描述如何启动app之类的

三个脚本由Cloudfoundry顺次执行

 

如果编写buildpack过程需要创建其他文件夹或文件,其位置怎么安排都可以,CloudFoundry框架方面没有什么限制

 

自定义buildpack实例

下面我们自定义一个buildpack来支持java web项目,使用JDK7和tomcat7来跑,jdk和tomcat都要从公司内网来下载,版本可以稍微放宽,支持jdk6、7、8,tomcat也可以支持多个版本

detect内容大致如下:

#!/usr/bin/env bash
# cf 会给detect脚本传入一个参数,即build dir,里边就是那一坨app散文件
BUILD_DIR=$1
# 既然是java web的项目,而且跑在tomcat上,我们没别的要求,只要web.xml位于规范位置即可
if [ -d "${BUILD_DIR}/WEB-INF" ] && [ -f "${BUILD_DIR}/WEB-INF/web.xml" ]; then
# 按照惯例,一般会把所侦测到的项目类型echo出来,
# 这个echo出来的字符串和compile、release脚本没有半毛钱关系
echo "JavaWeb"
# 返回0表示detect成功执行,cf会继续执行compile,返回非0值cf就不继续往下走了
exit 0
fi
echo "no"
exit 1

 

compile文件做的事情稍微复杂一些,如果觉得bash不能胜任,随便用什么脚本语言来搞都OK,cf为compile脚本传入了两个参数:build dir和cache dir,build dir与传给detect文件的内容一致,cache dir是一个临时目录,比如我们在compile过程中下载jdk和tomcat之类的,就可以用cache dir做个中转。

#! /usr/bin/env ruby
# detect、compile、release这几个文件都没有后缀,用你喜欢的语言就好,这里是用的ruby
$stdout.sync = true
# 自己创建了一个lib目录,塞入环境变量,
# 如之前所述,除了bin目录必须固定之外,其他文件(夹)随你喜欢来安排
$:.unshift File.expand_path('../../lib', __FILE__)
require 'global'
require 'main_pack'
require 'fileutils'

build_path = ARGV[0]
cache_path = ARGV[1]
FileUtils.mkdir_p(build_path)
FileUtils.mkdir_p(cache_path)
# 主要逻辑都放在MainPack里了,无非就是下载、配置
pack = MainPack.new(Global.new(build_path, cache_path))
pack.compile

 

注意:

1、为了提高下载速度,免受网络困扰,同时增加掌控力度,我们一般会把依赖的tar包放到内网某个位置去自己管理

2、build_dir/.profile.d/*.sh文件都会在运行app之前由CloudFoundry帮我们提前运行,那在此导出一些环境变量之类的就比较方便了

 

release文件的内容大体为:

#!/usr/bin/env ruby

require 'yaml'

yml = {
'addons' => [],
'config_vars' => {},
'default_process_types' => {
'web' => './bin/catalina.sh run'
}
}.to_yaml

puts yml

 

 

default_process_types字段下面的web字段的值就是告诉CloudFoundry如何启动这个app,当然,我们可以在push应用的时候覆盖这个配置,稍候介绍~

 

如何使用自定义buildpack

这个很easy,进入app所在的目录,push即可:

cd /path/to/your/app
cf push --buildpack git://git.xiaomi.com/cf/cf-bp-javaweb-tomcat --command ./start.sh

 

 --buildpack就是用来指定自定义buildpack地址的,--command是用来指定自定义启动命令的,如果你的启动脚本是在app根目录下的start.sh,那就可以用上面的这条命令来push应用

 

1、bin目录下的detect、compile、release三个文件要求本身有可执行权限,cf不会给你chmod +x,所以我们需要在放到git中的时候就要求有可执行权限

2、stage的时候,cf把我们的app文件放到了这里:/tmp/staged/app,运行时放到了这里:/home/vcap/app,是的,你没看错,二者目录不同,这就需要注意了,特别是安装一些lib组件的时候,当时为了支持python的buildpack就搞的比较恶心,需要安装setuptools、pip和gunicorn,最后是放在了程序启动前来做的,而不是compile阶段

3、在支持嵌入式jetty程序的时候,如果你用了WebAppContext可能也会有问题,没有任何提示信息,就是死活起不来,后来追查发现jetty会为WebAppContext自动创建一个临时目录,猜测可能是没有创建成功,至于为啥没成功一直没有追出来,最后的方案是在程序启动之前提前创建好这个临时目录:mkdir -p /home/vcap/app/work,你如果搞出来了来留言分享一下吧 :)

4、如果你的CloudFoundry跟我们一样没有采用bosh管理,很可能rootfs里缺少一些unzip之类的命令,这个也会使stage失败,提前把一些常用的工具命令装到rootfs里是个明智的选择

 

示例

1、javaweb的buildpack,使用tomcat作为web容器:

http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git

2、支持python的buildpack:

http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-python.git

 

结语

总体来看,buildpack帮助paas平台完成了一个app在部署层面的抽象,主要搞定app依赖的runtime和framework,相当于搞定了静态依赖。操作系统特性通过统一定制rootfs来搞,不在buildpack问题域,配置文件差异问题,buildpack认为一个app一套配置,上层怎么处理,开发人员自己说了算,可以搭建多套CloudFoundry或者创建不同的app:dev-app/prod-app之类;运行时依赖也需要开发人员自己搞定,提前确认好相应的依赖是否已经在run,版本是否OK之类。

 

有任何问题欢迎留言讨论,谢谢支持 :)

 

0
0
分享到:
评论
4 楼 lrklx 2014-03-20  
kingsmall 写道
Hi,我最近刚开始研究cloud foundry。遇到了点问题,大致内容:
我使用了你在开源中国上面的 cloudfoundry-custom-buildpack-javaweb-tomcat
我执行了cf push --buildpack http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git

但是报了一个错误:
idcuser@vhost0220:~/myapps/cloudfoundry-custom-buildpack-javaweb-tomcat/bin$ cf push --buildpack http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git
Using manifest file ../manifest.yml

Uploading javaweb... OK
Stopping javaweb... OK

Preparing to start javaweb... OK
-----> Downloaded app package (41M)
-----> Downloaded app buildpack cache (39M)
Initialized empty Git repository in /tmp/buildpacks/cloudfoundry-custom-buildpack-javaweb-tomcat.git/.git/
Checking status of app 'javaweb'...Application failed to stage



我也遇到一样的错误,不知道如何解决?
3 楼 morflame 2014-01-09  
kingsmall 写道
对了我已经执行了git clone http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git 所有操作都在  .//cloudfoundry-custom-buildpack-javaweb-tomcat/目录下完成的


不是在buildpack的目录下操作,是在你的app的目录(里边应该有个WEB-INF子目录)下操作:)

更详细信息已经邮件给你
2 楼 kingsmall 2014-01-08  
对了我已经执行了git clone http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git 所有操作都在  .//cloudfoundry-custom-buildpack-javaweb-tomcat/目录下完成的
1 楼 kingsmall 2014-01-08  
Hi,我最近刚开始研究cloud foundry。遇到了点问题,大致内容:
我使用了你在开源中国上面的 cloudfoundry-custom-buildpack-javaweb-tomcat
我执行了cf push --buildpack http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git

但是报了一个错误:
idcuser@vhost0220:~/myapps/cloudfoundry-custom-buildpack-javaweb-tomcat/bin$ cf push --buildpack http://git.oschina.net/cnperl/cloudfoundry-custom-buildpack-javaweb-tomcat.git
Using manifest file ../manifest.yml

Uploading javaweb... OK
Stopping javaweb... OK

Preparing to start javaweb... OK
-----> Downloaded app package (41M)
-----> Downloaded app buildpack cache (39M)
Initialized empty Git repository in /tmp/buildpacks/cloudfoundry-custom-buildpack-javaweb-tomcat.git/.git/
Checking status of app 'javaweb'...Application failed to stage

相关推荐

    has项目cloud foundry用的java web 的 buildpack

    在这个场景中,"has项目"显然是一个基于Java Web的应用程序,而"buildpack"是Cloud Foundry用来识别和配置运行环境以支持特定语言或框架的关键组件。 Buildpacks包含了构建和运行应用所需的依赖,例如JRE(Java运行...

    Spring 与 Cloud Foundry:在云中珠联璧合

    此外,Spring Cloud与Cloud Foundry的整合进一步增强了服务发现和配置管理。Spring Cloud为Cloud Foundry中的服务提供了注册与发现机制,通过Spring Cloud Config Server,应用程序可以在运行时动态获取或更新配置...

    Cloud Foundry 中的新增功能-中英文

    在"Cloud Foundry 中的新增功能-中英文"的主题中,我们将会探讨这个平台的最新发展和增强功能。 首先,Cloud Foundry的更新通常关注于提高开发者体验、增强可移植性、提升性能以及确保安全性。例如,可能有新的APIs...

    Cloud Foundry合作伙伴战略和案例分享

    海峰可能详细解释了SpringOne China活动中,如何通过Cloud Foundry实现Spring应用的快速部署和生命周期管理,同时分享了相关的最佳实践和案例。 最后,"刘海峰_盛大云PaaS平台.ppt"可能涉及的是盛大云(现为青云...

    Cloud Foundry: The Definitive Guide

    本书详细介绍了Cloud Foundry的概念、安装、配置、应用的开发与部署、服务的管理等核心知识点。从如何快速开始使用Cloud Foundry,到深入了解其内部架构和扩展性,书中都提供了系统的说明和指导。 在Cloud Foundry...

    Cloudfoundry介绍文档

    CloudFoundry的介绍文档,入门必备

    nodejs-buildpack:用于Node.js的Cloud Foundry构建包

    Cloud Foundry Node.js构建包 用于基于节点的应用程序的Cloud Foundry 。 Buildpack用户文档 官方buildpack文档可在找到。 构建Buildpack 要构建此buildpack,请从buildpack的目录中运行以下命令: 在buildpack...

    Cloud Foundry:云时代的Linux/LAMP.pdf

    在Cloud Foundry生态系统中,开发者可以利用开源的Apache 2.0许可证获取代码,并在GitHub上进行托管。VMware鼓励第三方不仅在自己的CloudFoundry.com平台上部署应用,还可以创建私有云或公共云平台,提供更多的特性...

    Cloud Foundry中Ruby的应用

    在探讨“Cloud Foundry中Ruby的应用”这一主题时,我们首先需要深入了解Cloud Foundry与Ruby在现代软件开发和云计算环境中的角色与价值。 ### Cloud Foundry:一个革命性的PaaS平台 Cloud Foundry是一个开放源代码...

    cloudfoundry-runtime-0.8.4_Java8_cloud_

    【标题】"cloudfoundry-runtime-0.8.4_Java8_cloud_" 指的是一个针对 Cloud Foundry 运行时环境的特定版本,这个版本是为 Java 8 语言定制的。Cloud Foundry 是一个开源的平台即服务(PaaS)系统,允许开发者构建、...

    Cloudfoundry

    Cloudfoundry

    基于CloudFoundry的PaaS云平台的设计与实现

    综上所述,基于CloudFoundry的PaaS云平台的设计与实现,不仅需要深入理解和分析CloudFoundry的技术架构和组件,还需要在实际构建过程中,根据自身的需求进行定制开发。CloudFoundry通过其开放性和对多种语言框架的...

    Cloud Foundry - The Definitive Guide

    Get started with Cloud Foundry, the leading Platform as a Service (PaaS) that’s dramatically changing how developers, operations practitioners, and especially DevOps teams deploy applications and ...

    微服务架构在 Cloud Foundry中的应用

    Cloud Foundry的主要特点包括开放源代码、支持多种编程语言和框架、以及与企业常用的开发运维工具和流程的兼容性。它的架构允许多个用户共享同一物理硬件资源,通过动态隔离的方式提供不同用户的应用服务。它还能...

    Cloud Foundry BOSH简介

    Cloud Foundry BOSH 是一个强大的云管理和部署工具,由VMware开发并开源,主要用于简化Cloud Foundry平台的应用程序实例管理及大规模部署。BOSH的主要目标是实现自动化、无缝的组件更新,减少停机时间,同时支持跨...

    CloudFoundry开源云计算平台简介.rar

    CloudFoundry开源云计算平台简介rar,提供“CloudFoundry开源云计算平台简介”免费资料下载,主要包括Cloud Foundry的概述、Cloud Foundry的架构、使用Cloud Foundry部署应用等内容,可供学习使用。

Global site tag (gtag.js) - Google Analytics