`
Taoo
  • 浏览: 294561 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

oozie 扩展与配置相关

 
阅读更多
折腾了好久好久好久的oozie,
现在暂时算是能够用起来了。

主要讲两点吧:
一,部署相关
二,运行相关

-----------------------------
一,部署相关
oozie用的版本是oozie-3.1.3-incubating,不知道为什么,从3.0起,oozie不支持sqoopAction和HiveAction了。
为了能够执行这两种Action,对他的jar包进行了些修改。

1,编译HiveAction和SqoopAction相关的类。
一共有四个类:HiveAction.java, HiveMain.java, SqoopAction.java, SqoopMain.java
这四个类是我从cloudera版本oozie-2.3.2-cdh3u2里面拉出来的。
编译方法,没啥特别,就是用oozie3.1.3建立项目,添加这四个类,然后编译,找到这四个类的class文件,然后把这四个类的class文件放到oozie-core-3.1.3.jar对应的路径下。

2,添加相应的xsd文件。
在cloudera的oozie-2.3.2-cdh3u2\src\client\src\main\resources下,
找到hive-action-0.2.xsd和sqoop-action-0.2.xsd,把这两个东西,添加到oozie-client-3.1.3-incubating.jar里面。

3,重新setup oozie。
把修改后的jar包替换原来的jar包,然后重新setup oozie,根据前一篇http://taoo.iteye.com/blog/1518580日志,setup之后,要在lib里面添加相应的jar包。

4,重启oozie。



二,运行相关
1,sharelib的配置
在任何action执行时,会对这个sharelib进行依赖,这个sharelib要放到hdfs上。
oozie提供一个sharelib:oozie-sharelib-3.1.3-incubating.tar.gz。解压即可。
然后,根据hive、pig和sqoop的版本添加相关的jar包。除了这三个工具的jar包外,hive的lib里的jar包还需要添加进去,注意,一定是hive的lib中的jar为版本基准,如果sharelib里面已经有了这个jar包,但是与hive lib中的对应jar包版本不同,一定,一定,一定以hive中lib的版本为准。
对了,相关的jdbc包也要添加进sharelib哦。

2,指定相关配置文件。
特别是hive在运行时,一定要指定hive的配置文件,要不然hive client不知道去哪找metastore呢。
指定方法是,在configuration里面添加:
                <property>
                    <name>oozie.hive.defaults</name>
                    <value>my-hive-default.xml</value>
                </property>

其中这个my-hive-default.xml文件就是hive-site.xml,需要放到hdfs上对应的workflow路径下。

其实hive相关的action,比如sqoop的,可能也需要配置这个东西。




-----------------


暂时就这么多把。






分享到:
评论

相关推荐

    oozie配置文件

    5. **web.xml.bak**: 这是一个备份的Web应用配置文件,可能包含了Oozie Web UI的相关配置。在某些情况下,Oozie的Web界面会受到这个文件的影响,例如认证和权限设置。 6. **addtowar.sh**: 这可能是一个用于向Oozie...

    oozie所需的ext下载

    "oozie所需的ext下载"这个标题暗示了我们需要获取一个特定版本的Oozie扩展包,即ext-2.3.0。ext在Oozie中的作用主要在于提供Web应用程序界面(UI)的前端组件和JavaScript库,这些组件和库使得用户能够更直观地管理...

    oozie控制台ext jar包.zip

    《oozie控制台ext jar包.zip》是一款专用于oozie web控制台的扩展包,它包含了一组必要的jar文件,能够极大地丰富和优化oozie控制台的功能与用户体验。该压缩包的主要目标是提供一个增强版的oozie web界面,使得在...

    oozie的控制台用ext依赖

    `libext`目录是Oozie存放扩展库的地方,它允许Oozie加载非标准的JAR文件,例如特定的JavaScript库或其他服务的客户端API。在这个案例中,`oozie_ext`压缩包很可能包含了Oozie控制台所需的一系列JavaScript库文件,...

    Oozie ext-2.2.zip

    【Oozie ext-2.2.zip】是一个与Apache Oozie相关的压缩包,它包含了Oozie图形界面设置所需的工具组件。Apache Oozie是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业,如MapReduce、Pig、Hive、Sqoop等...

    oozie-5.2.1-distro.tar.gz

    **自定义与扩展:** 由于是源码版本,用户可以根据需求对Oozie进行定制,比如添加新的工作流动作,调整默认配置,甚至实现自己的工作流调度策略。这需要对Java编程和Oozie的工作原理有深入的理解。 **使用与运维:*...

    oozie介绍及使用详解

    1. **配置Oozie**:在Hadoop集群上安装和配置Oozie服务器,包括设置Hadoop的相关路径、配置文件和安全设置。 2. **创建工作流**:使用WDL编写工作流定义,描述作业之间的依赖关系和执行顺序。 3. **上传和验证工作流...

    oozie-4.3.0

    10. **扩展性:** Oozie 设计为可扩展,可以支持自定义的工作流动作,这意味着用户可以添加自己的作业类型或定制现有的作业行为,以满足特定的需求。 总结,Oozie 4.3.0 是一个强大的工作流管理系统,它简化了 ...

    oozie-4.3.1.tar.gz

    3. 配置环境:编辑`conf/oozie-site.xml`,设置Hadoop相关配置。 4. 构建Oozie:`mvn clean install -DskipTests` 5. 创建数据库:根据Oozie的数据库要求(如MySQL)创建数据库和用户。 6. 初始化数据库:`bin/...

    oozie-4.1.0.tar.gz

    在4.1.0版本中,Oozie提供了一个灵活、可扩展的框架,允许用户定义和执行复杂的作业流程,支持多种类型的数据处理任务,包括MapReduce、Pig、Hive、Sqoop以及Java程序等。 **核心功能** 1. **工作流管理**:Oozie ...

    Apache Hadoop---Oozie.docx

    Oozie的基本执行原理是通过workflow.xml文件定义工作流,用户在job.properties中配置相关参数。提交工作流时,Oozie Server会通过RESTful API接收请求,并异步地将作业提交给Hadoop执行。这种异步机制使得用户可以...

    ext-2.2.zip oozie

    《Apache Oozie与ext-2.2.zip的深度解析》 Apache Oozie是Hadoop生态系统中的工作流调度系统,它允许用户管理和调度Hadoop相关的作业,如Hive、Pig、MapReduce以及 Sqoop等。在部署和配置Oozie的过程中,`ext-2.2....

    Oozie之JavaAction测试实例

    ### Oozie之JavaAction测试实例详解 #### 一、Oozie JavaAction概述 Oozie是一款开源的工作流调度系统,它允许用户定义...通过正确配置和使用JavaAction,可以极大地扩展Oozie的功能,并解决各种复杂的数据处理问题。

    oozie-5.0.0.tar.gz

    6. **可扩展性**:Oozie 设计为可扩展,允许添加自定义的工作流动作和扩展点,满足特定业务需求。 在5.0.0版本中,Oozie可能引入了新的特性和改进,例如提升了性能,增强了用户体验,修复了一些已知问题。尽管具体...

    EXT-2.2.zip Oozie的web界面安装所需要的包

    标题中的"EXT-2.2.zip Oozie的web界面安装所需要的包"表明这是一个与Oozie相关的压缩文件,主要用于安装Oozie的Web界面。Oozie是Apache Hadoop项目的一部分,它是一个工作流调度系统,用于管理Hadoop作业。在Hadoop...

    Oozie - The Workflow Scheduler for Hadoop

    本文将详细阐释Oozie的基本概念、安装配置、工作流编写与协调、以及安全性和共享库管理等高级特性。 ### Oozie基础概念 了解Oozie的基础概念对开发者来说至关重要,基础概念包括工作流、数据管道以及动作等。 - **...

    精品课程推荐 大数据与云计算教程课件 优质大数据课程 35.Oozie(共41页).pptx

    **Oozie** 是一个专为Hadoop生态系统设计的工作流调度系统,它可以管理和调度Hadoop相关的任务,如MapReduce、Pig和Hive等。Oozie是一个Java Web应用程序,通常部署在像Tomcat这样的Servlet容器中。它利用数据库存储...

    ExtJS 2.2 (enable oozie ui console 需要)

    3. 如果Oozie使用了自定义主题,还需要确保新版本的ExtJS与Oozie的定制样式兼容。 4. 重启Oozie服务以使更改生效。 安装并正确配置ExtJS 2.2后,Oozie Web Console应该能正常运行,提供完整的用户界面和功能,允许...

    毕设&课设&项目&实训-基于SpringBoot2.0实现Apache Oozie可视化界面配置。.zip

    对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】: 有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。 鼓励下载和使用,并欢迎大家互相学习,共同...

Global site tag (gtag.js) - Google Analytics