Hadoop Oozie学习笔记(一) 自定义安装和启动

 

本博客属原创文章,转载请注明出处: http://guoyunsky.iteye.com/blog/1243417

欢迎加入Hadoop超级群: 180941958    

 

 

      cloudera里面有基于Oozie的安装,但是通过sudo apt-get install oozie的方式.其中你要将cloudera hadoop的source放入sources.list.由于我升级了最新的Ubuntu.但对应的cloudera hadoop还没有相应的版本.所以添加sources.list无法成功.网上也没什么手动安装的资料,于是我就写点吧.参考来源: http://incubator.apache.org/oozie/quick-start.html#AG_Install

      Oozie依赖hadoop,tomcat,ext(可选,如果需要查看web控制界面就需要安装).我这里Hadoop版本是0.20.2,tomcat版本是tomcat6,ext是ext-2.2.同时我这里安装的Oozie版本是3.0.2

     1)先下载Oozie,下载地址:https://github.com/yahoo/oozie/downloads .我的下载路径是/home/guoyun/Downloads/oozie-3.0.2-distro.tar.gz

     2)下载ext-2.2.zip,下载网址: http://code.google.com/p/eas/downloads/detail?name=Ext-2.2.zip&can=2&q= .我的下载路径是/home/guoyun/Downloads/ext-2.2.zip

     3)安装tomcat,但Oozie依赖于通过$CATALINA_HOME/bin/startup.sh的方式启动Tomcat,所以通过Ubuntu自带的方式安装Tomcat貌似行不通(也就是sudo apt-get install tomcat6).于是还是手动上tomcat官网下载tomcat6.我的下载路径是/home/guoyun/Downloads/apache-tomcat-6.0.33.tar.gz

     4)设置环境变量

        vi ~/.bashrc

        将OOZIE_HOME,CATALINA_HOME设置好,比如我这里是

        export OOZIE_HOME=/home/guoyun/Downloads/oozie-3.0.2

        export CATALINA_HOME=/home/guoyun/Downloads/apache-tomcat-6.0.33

        设置好后运行命令:source ~/.bashrc.

        这里可以验证设置是否成功,输入命令:$CATALINA_HOME/bin/startup.sh,然后浏览器里输入http://localhost:8080,如果浏览器里可以看到tomcat,则表示设置成功.下一步安装OOZIE

    5)安装OOZIE

     输入命令:$OOZIE_HOME/bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /home/guoyun/Downloads/ext-2.2.zip

      其中0.20.2是你机器hadoop的版本

      ${HADOOP_HOME}是你机器上Hadoop的安装目录,我这里也是放到环境变量里.

      /home/guoyun/Downloads/ext-2.2.zip就是刚下载的ext-2.2.zip所在路径.

     运行这条命令Oozie会将hadoop相关jar和oozie等拷贝到Oozie中.同时得到以下结果则代表你安装成功:

    New Oozie WAR file with added 'Hadoop JARs, ExtJS library' at /home/guoyun/hadoop/oozie-3.0.2/oozie-  server/webapps/oozie.war

    INFO: Oozie is ready to be started

 

   如果报 Specified Oozie WAR '/xxx/oozie.war' already contains Hadoop JAR files 这种错误则表示你到oozie.war中已经包含了hadoop-xxx.jar.如此会导致extjs也安装不进去。解决到方法是到你对应到/xxx/oozie.war中删除掉hadoop-xxx.jar再重新安装即可.

 

6)启动OOZIE

   这里你要先确定你的Tomcat没有在运行.输入命令:

   $OOZIE_HOME/bin/oozie-run.sh

   之后会看到一大把的输出,同时Oozie会启动Tomcat.当你看到

    2011-11-8 15:41:21 org.apache.catalina.startup.Catalina start

    信息: Server startup in 7365 ms

   则表示Oozie启动成功.

7)查看web控制台

   输入命令:

   $OOZIE_HOME/bin/oozie admin -oozie http://localhost:11000/oozie -status

   当看到结果:

   System mode: NORMAL

   则表示已经成功,通过浏览器输入 http://localhost:11000/oozie就能看到Oozie的管理界面.

   这里有个疑问,浏览器里输入http://localhost:8080照样也能看到Tomcat界面,同时$TOMCAT_HOME/webapps下也没看到OOZIE的相关web工程.那OOZIE的web是通过哪里启动的?日后再慢慢解决吧.看到有jetty的包,难不成是Jetty?

 

更多技术文章、感悟、分享、勾搭，请用微信扫描:

 

评论

5 楼 漂泊一剑客 2015-02-03  

漂泊一剑客 写道

博主你好，请问一些，oozie可以再windows下用吗， 是不是必须要在hadoop平台上才能用， 能不能在java的web项目中直接用啊？

急求博主回复一下

4 楼 漂泊一剑客 2015-02-03  

博主你好，请问一些，oozie可以再windows下用吗， 是不是必须要在hadoop平台上才能用， 能不能在java的web项目中直接用啊？

3 楼 coobery 2013-07-19  

报错，请问怎么解决？
[hadoop@master bin]$ ./oozie-setup.sh -extjs ../libext/ext-4.0.7-gpl.zip -hadoop 0.20.104 ${HADOOP_HOME}

cp: cannot stat `/tmp/oozie-war-packing-15981/ext-2.2': No such file or directory

Failed: copying ExtJS files into staging

[hadoop@master bin]$

2 楼 coobery 2013-07-19  

请教下：
[hadoop@master bin]$ ./oozie-setup.sh -extjs ../libext/ext-4.0.7-gpl.zip -hadoop 0.20.104 ${HADOOP_HOME}

cp: cannot stat `/tmp/oozie-war-packing-15178/ext-2.2': No such file or directory

Failed: copying ExtJS files into staging

[hadoop@master bin]$ ll /tmp/
.font-unix/                         Jetty_master_50070_hdfs____.iksonr/ scim-panel-socket:0-root            VMwareDnD/
.ICE-unix/                          root/                               scim-panel-socket:0-wu              vmware-root/
[hadoop@master bin]$ ll /tmp/
这是什么情况？

1 楼 woulderful 2013-01-30  

。。。。。。
你附件是什么玩意？
extjs。。。。

请问你用extjs 搭建成功了么。。。。。。。。。。