`
tangjunliang
  • 浏览: 109546 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于oozie调用shell的一个例子

阅读更多
完成的功能,执行t.sh,并且通过workflow像t.sh传递参数

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
    <start to="shell-node"/>
    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>t.sh</exec>
            <argument>/dp/bin/test.sh</argument>
            <file>t.sh</file> <!--Copy the executable to compute node's current working directory -->
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>


job.properties

nameNode=hdfs://oozie
jobTracker=master1:8032
queueName=default
exampleRoot=example

oozie.wf.application.path=${nameNode}/user/${user.name}/${exampleRoot}/apps/shell/test


a.sh

ssh hadoop@master2 ${1}
分享到:
评论

相关推荐

    oozie shell action 例子

    提供一个oozie job shell action 列子,例子中 配置文件有 job.properties,workflow.xml,lineCount.sh 项目开发时候,发现shell action 不好配 ,最后网上参照一个列子,配置,可以运行成功

    Oozie调度SparkSQL样例代码_oozie_hive_

    Oozie是Apache Hadoop的一个工作流调度系统,用于管理Hadoop作业的生命周期,而Hive则是一种基于Hadoop的数据仓库工具,允许用户使用SQL(称为HQL)对大规模数据进行查询和分析。本文将详细介绍如何在华为大数据平台...

    oozie oozie

    在Hadoop生态系统中,Oozie是一个工作流调度系统,用于管理Hadoop作业。它允许用户定义、调度和协调各种Hadoop相关任务,如MapReduce、Pig、Hive、Sqoop等。当遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”...

    OOZIE 配置和调度流程(1).doc

    OOZIE 是一个开源的工作流调度系统,用于管理和调度 Hadoop 作业。下面是 OOZIE 配置和调度流程的详细知识点: 1. OOZIE 命令: OOZIE 提供了多种命令来管理和调度作业,包括: * 提交并执行作业:oozie job -...

    Oozie之JavaAction测试实例

    **JavaAction**是Oozie提供的一个特殊功能,允许用户编写Java程序来实现自定义逻辑,这些Java程序可以在Hadoop集群中以MapReduce作业的形式运行。JavaAction特别适合那些需要更灵活控制逻辑或者进行特定数据处理的...

    oozie-4.3.0

    1. **工作流管理系统:** Oozie 是一个开源的工作流调度系统,它能够管理和调度 Hadoop 生态系统中的各种作业,包括 MapReduce、Pig、Hive、Sqoop、Java 可执行程序、shell 脚本等。它为大数据处理提供了统一的控制层...

    oozie配置文件

    3. **oozie-env.sh**: 这是一个shell脚本,用于设置Oozie服务器的环境变量,如JAVA_HOME、OOZIE_HOME和系统路径。这是启动Oozie服务前必须配置的关键文件,确保Oozie可以找到其依赖的Java环境和其他库。 4. **oozie...

    oozie调度脚本.docx

    标题中的"oozie调度脚本.docx"指出我们要讨论的核心技术是Apache Oozie,一个在Hadoop生态系统中用于管理工作流的工具。Oozie提供了对多种Hadoop任务(如MapReduce、HDFS操作、Shell命令、Hive查询等)的集中式、...

    大数据Oozie架构原理.pdf

    Oozie 是一个基于工作流引擎的开源框架,运行在 Tomcat 容器中,使用数据库存储工作流定义和实例,支持多种类型的 Hadoop 作业调度。Oozie 的架构原理可以分为四个部分:Client、Console、SDK 和 DB。 Oozie 的架构...

    oozie介绍及使用详解

    Oozie是Apache Hadoop项目中的一个工作流调度系统,用于管理Hadoop生态系统中的批处理作业。它支持Hadoop MapReduce、Pig、Hive、Sqoop等多种工具的任务调度,同时也可扩展到其他自定义Java或Shell作业。Oozie与...

    快速学习-Oozie的使用

    4.1 案例一:Oozie调度shell脚本 目标:使用Oozie调度Shell脚本 分步实现: 1)解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 2)创建工作目录 [atguigu@hadoop102...

    OozieWeb界面需要的组件

    在描述中提到的“OozieWeb的js组件”指的是构成OozieWeb界面的一部分JavaScript库,这些库为用户提供了一个友好的图形界面来操作Oozie服务。 `ext-2.2.Oozie.fsh` 文件名暗示了这个压缩包可能包含的是Ext JS库的一...

    oozie-5.2.1-distro.tar.gz

    Apache Oozie 是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业。Oozie 5.2.1是该软件的一个版本,提供了一系列改进和修复,旨在提高稳定性和性能。这个"oozie-5.2.1-distro.tar.gz"文件是一个压缩包,...

    oozie-branch-4.1.zip

    Apache Oozie 是一个工作流调度系统,用于管理 Hadoop 生态系统中的作业执行。它允许用户定义、调度和协调各种类型的任务,如 MapReduce、Pig、Hive、Spark 等,提供了一个集中式的管理和监控平台。在深入理解 Oozie...

    oozie的控制台用ext依赖

    在IT行业中,Oozie是Apache Hadoop生态系统中的一个工作流调度系统,它用于管理和调度Hadoop相关的任务。Hue则是一个用户界面套件,旨在提供对Hadoop生态系统的友好操作界面,包括对Oozie的工作流进行可视化操作。当...

    大数据技术之Oozie.doc

    Oozie是大数据领域中一个重要的工作流管理系统,它的名字来源于英文“驯象人”,寓意其能有效地管理和调度大数据处理中的复杂任务。Oozie由Cloudera公司贡献给Apache,主要服务于Hadoop生态系统,用于协调和调度...

    oozie所需的ext下载

    在大数据处理领域,Oozie是一个非常重要的工作流调度系统,它被广泛应用于Hadoop生态系统中,用于管理和调度Hadoop相关的任务,如MapReduce、Pig、Hive、Sqoop等。Oozie的核心功能是协调工作流程,监控作业状态,并...

    oozie 入门

    oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie

    oozie使用整理

    Oozie 是一个用于管理工作流和协调数据处理任务的开源工具,主要用于在 Hadoop 生态系统中实现复杂的工作流调度。它通过定义一系列任务及其之间的依赖关系来自动化执行大数据处理流程。 #### 二、Oozie 的核心功能 ...

    Oozie安装部署及任务定义说明

    Oozie是Apache Hadoop生态系统中的一个工作流调度系统,用于管理Hadoop作业的生命周期。以下是对Oozie安装和部署的详细步骤: 1. **Maven安装** - 下载Maven的tar包,如maven-3.3.2,并解压至/usr/local目录。 - ...

Global site tag (gtag.js) - Google Analytics