`
Taoo
  • 浏览: 294560 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

oozie安装问题

 
阅读更多
在cdh3u3版本上安装后,按照官方文档的配置方法,轻松搞定。
http://incubator.apache.org/oozie/QuickStart.html

其中,要注意以下几点:
1,运行命令:
bin/oozie-setup.sh -hadoop 0.20.2 ${HADOOP_HOME} -extjs /tmp/ext-2.2.zip时,首先
版本号用的是0.20.2。
2,ext-2.2.zip的版本一定是2.2的,且不是Ext-2.2.zip,一定用小写的那个包。(google code啥样下载的那个Ext-2.2.zip不行)


使用bigtop方式安装的hadoop和oozie,
1,应该用service方法启动oozie,sudo service oozie start
2,访问oozie页面遇到404错误时,需要进行如下操作。
For 20.2, you can follow these steps:
1. From oozie-default.xml, copy the property  "oozie.services" including all the values into
your oozie-site.xml.
2. In oozie-site.xml, one of the service name is "KerberosHadoopAccessorService". Remove only
"Kerberos" which will make it "HadoopAccessorService".
3. Restart Oozie.
(http://mail-archives.apache.org/mod_mbox/incubator-oozie-users/201204.mbox/%3C1335005113.22861.YahooMailNeo@web161303.mail.bf1.yahoo.com%3E)

然后,就ok了。

--------------
补充下,无论哪个版本的hadoop,oozie默认都是开启kerberos权限管理的,
需要关闭,并替换成hadoop自身的权限管理,这样才能运行。
具体方法参见:https://github.com/yahoo/oozie/wiki/FAQ
其实,就和上面那个讲的一样,
1,把oozie-default.xml里面的oozie.services属性值全部复制到oozie-site.xml里面。
2,删去其中的org.apache.oozie.service.KerberosHadoopAccessorService值;
3,增加一个值:org.apache.oozie.service.HadoopAccessorService。
(其实就是上面的修改,呵呵)
然后重启oozie就ok。


执行job时会遇到诡异的报错。
------
刚开始使用,可能会遇到些基础概念性的问题。
1,job.properties文件是整个工作流的入口,一个工作流最初的配置信息就在这里面。
2,工作流的实际工作内容和相应的库是放在hdfs中的。(这个路径地址在job.properties里面指定)
3,然后就是执行了,目前还没有碰到啥特别的。

--------
哦,对了,要注意一个问题。
再最开始执行时,一直报错:oozie HTTP error code: 500 : Internal Server Error.
而且最诡异的是,这个错误不会往oozie.log或者catalina.out里面记录任何错误信息。
折腾了好久,发现错误会记录在localhost.2012-05-14.log文件里面,错误内容如下:
May 14, 2012 5:39:51 PM org.apache.catalina.core.StandardWrapperValve invoke
SEVERE: Servlet.service() for servlet v1jobs threw exception
java.lang.NoClassDefFoundError: org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap
        at org.apache.hadoop.hdfs.SocketCache.<init>(SocketCache.java:48)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:240)
        at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:208)
        at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:89)
        at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1563)
        at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:67)
        at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:1597)
        at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1579)
        at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:228)
        at org.apache.oozie.service.KerberosHadoopAccessorService$3.run(KerberosHadoopAccessorService.java:203)
        at org.apache.oozie.service.KerberosHadoopAccessorService$3.run(KerberosHadoopAccessorService.java:195)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1157)
        at org.apache.oozie.service.KerberosHadoopAccessorService.createFileSystem(KerberosHadoopAccessorService.java:195)
        at org.apache.oozie.service.AuthorizationService.authorizeForApp(AuthorizationService.java:288)
        at org.apache.oozie.servlet.BaseJobServlet.checkAuthorizationForApp(BaseJobServlet.java:188)
        at org.apache.oozie.servlet.BaseJobsServlet.doPost(BaseJobsServlet.java:92)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:637)
        at org.apache.oozie.servlet.JsonRestServlet.service(JsonRestServlet.java:284)
        at javax.servlet.http.HttpServlet.service(HttpServlet.java:717)
        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)
        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
        at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:233)
        at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:191)
        at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127)
        at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
        at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
        at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:298)
        at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:859)
        at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:588)
        at org.apache.tomcat.util.net.JIoEndpoint$Worker.run(JIoEndpoint.java:489)
        at java.lang.Thread.run(Thread.java:619)


找不到这个类:org/apache/hadoop/thirdparty/guava/common/collect/LinkedListMultimap。
研究发现,发现这个类是在$HADOOP_HOME/lib/guava-r09-jarjar.jar中,
而在oozie-setup.sh后生成的oozie.war包中,没有包含这个jar包。
无奈只能在这个war包中oozie.war\WEB-INF\lib下,添加上guava-r09-jarjar.jar,
然后就ok了。
我的添加方法比较山寨,在win下用winRAR打开,然后添加进去的。不知道有没有更好的方法。


又来新问题
------------
执行例子程序各种报错,原因和上面一样,缺少各种jar包,
所以,按照上面的方法添加jar包到war包中,我添加了以下jar包后,暂时没有问题。
jackson-core-asl-1.5.2.jar
jackson-mapper-asl-1.5.2.jar
log4j-1.2.15.jar
slf4j-api-1.4.3.jar
slf4j-log4j12-1.4.3.jar
commons-configuration-1.6.jar

要是再有新问题,可能还需要添加其他jar包。
真不知道有没有更好的解决办法,给webapp添加个classpath什么的。
暂时搞定,唉。








分享到:
评论

相关推荐

    Oozie安装部署及任务定义说明

    **Oozie安装部署** Oozie是Apache Hadoop生态系统中的一个工作流调度系统,用于管理Hadoop作业的生命周期。以下是对Oozie安装和部署的详细步骤: 1. **Maven安装** - 下载Maven的tar包,如maven-3.3.2,并解压至/...

    Oozie的安装与配置.docx

    以下是对Oozie安装配置过程的详细解释: 1. **所需软件与版本**: - Hadoop 2.4.1:作为基础的大数据处理框架,Oozie需要与其兼容。 - JDK 1.7:Java开发环境,Oozie是用Java编写的,需要JDK支持。 - Maven ...

    oozie安装详细文档

    ### Oozie安装详细步骤与配置解析 #### 一、Oozie简介 Oozie 是一个用于在 Hadoop 集群上管理和协调工作流(Workflows)和协调服务(Coordinator Jobs)的工作流调度系统。它支持多种类型的数据处理任务,如 ...

    oozie oozie

    `oozie.sql`文件是Oozie安装和配置过程中的关键组件,它包含了创建Oozie元数据存储所需的所有SQL脚本。这个文件通常包含创建Oozie在运行时依赖的各种表和视图的命令,比如`VALIDATE_CONN`表,该表可能用于验证和管理...

    oozie安装时,所需的js文件包ext-2.2.zip

    oozie安装时,所需的js文件在ext-2.2中,需要解压到oozie根目录/libext/文件中

    oozie所需的ext下载

    2. 将解压后的文件复制到Oozie服务器的Web应用程序目录,例如`&lt;oozie安装目录&gt;/webapps/oozie/WEB-INF/lib`或`&lt;oozie安装目录&gt;/libext`,具体位置依赖于Oozie版本和配置。 3. 如果Oozie服务正在运行,需要重启服务以...

    oozie的安装和使用

    包括安装,配置,使用,shell action ,hive action,MapReduce action,sqoop action。

    oozie最简单的安装说明+ExtJS-2.2包【亲测100%成功】

    **Oozie简介** Oozie是Apache Hadoop生态系统中的一个...在安装过程中,注意Oozie对ExtJS的依赖,特别是对于较早的版本,需要确保正确安装和配置这个JavaScript库。通过遵循上述步骤,你应该能够成功安装并运行Oozie。

    oozie的控制台用ext依赖

    在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装Oozie后,可能会遇到无法查看或使用控制台的问题。这通常是由于Oozie的Web界面依赖于一些外部(ext)库,而这些库并未包含在默认的安装包中。因此...

    oozie-5.2.1-distro.tar.gz

    解压"oozie-5.2.1"后,开发者需要按照特定步骤编译和安装Oozie。首先,需要配置环境,包括设置Java环境变量,安装Maven构建工具,以及确保所有依赖库的可用性。然后,使用Maven的`mvn install`命令编译源码,最后将...

    大数据技术之Oozie入门到精通.txt

    #### 四、Oozie安装与配置 **1. 安装过程** - 下载Oozie发行版,解压缩后将必要的文件复制到Hadoop集群中。 - 配置Oozie Server的环境变量,设置数据库连接信息。 - 启动Oozie Server。 **2. 配置文件** - `oozie-...

    oozie配置文件

    在实际部署中,我们还需要关注Oozie的安装目录结构、Hadoop的配置以及Oozie与Hadoop集群的集成。同时,安全设置,如Kerberos认证,也是Oozie在生产环境中不可忽视的部分。最后,Oozie的作业定义(通常为XML格式)也...

    EXT-2.2.zip Oozie的web界面安装所需要的包

    标题中的"EXT-2.2.zip Oozie的web界面安装所需要的包"表明这是一个与Oozie相关的压缩文件,主要用于安装Oozie的Web界面。Oozie是Apache Hadoop项目的一部分,它是一个工作流调度系统,用于管理Hadoop作业。在Hadoop...

    oozie控制台ext jar包.zip

    《oozie控制台ext jar包.zip》是一款专用于oozie web控制台的扩展包,它包含了一组必要的jar文件,能够极大地丰富和优化...在安装和使用过程中,遵循正确的步骤,注意兼容性问题,将有助于充分利用oozie的强大功能。

    尚硅谷大数据技术之Oozie1

    接着部署Oozie,这通常包括解压缩Oozie安装包,解压并安装`oozie-hadooplibs`以提供对Hadoop的兼容性。然后,需要配置Oozie服务器的`oozie-site.xml`,设置Oozie服务器的URL、数据库连接等参数。最后,启动Oozie服务...

    oozie-4.3.1.tar.gz

    3. 日志分析:通过Oozie的Web UI或API获取作业日志,便于问题排查。 4. 性能优化:合理配置Oozie服务器参数,如并发度、队列大小等,提升整体效率。 总结,Apache Oozie 4.3.1作为Hadoop生态中的关键组件,提供了...

    大数据Oozie架构原理.pdf

    FusionInsight C50 安装完成后默认满足以上要求。 Oozie 的版本说明包括 4.0.1、4.1.0 等,新特性包括支持 Hadoop 版本 0.23.X 及以上、改进、优化、BUG 修复等。 Oozie 架构原理是基于工作流的编排,支持多种类型...

    oozie介绍及使用详解

    1. **配置Oozie**:在Hadoop集群上安装和配置Oozie服务器,包括设置Hadoop的相关路径、配置文件和安全设置。 2. **创建工作流**:使用WDL编写工作流定义,描述作业之间的依赖关系和执行顺序。 3. **上传和验证工作流...

Global site tag (gtag.js) - Google Analytics