`

Oozie: Run examples

 
阅读更多

#cd  /path/to/oozie-4.0.1

#tar -xzf oozie-examples.tar.gz

modify all job.properties in the examples dirnameNode=hdfs://192.168.122.1:2014
jobTracker=192.168.122.1:2015
queueName=default
examplesRoot=oozie/examples

#hdfs dfs -put -R examples  oozie/

 

Run  pig example

#oozie job --oozie http://localhost:11000/oozie --config examples/apps/pig/job.properties -run 
#oozie job -oozie http://localhost:11000/oozie -info 0000000-140403135241755-oozie-zhj-W

 

Note : The job.properties file needs to be a local file during submissions, and not a HDFS path.

 

 

jobtracker in job.properties  is yarn.resourcemanager.address in yarn-site.xml for hadoop2

 

When I run pig example. The status of this workflow job is sccuessed in JobBrowsers panel of Hue or Hadoop Job History, but killed or failed in Dashborad of hue/oozie web ui.  I can't fix this problem.

 



 

 

 

 

 

 please refer to http://ylzhj02.iteye.com/admin/blogs/2040787

 

 

 

See:http://hortonworks.com/community/forums/topic/oozie-unknown-hadoop-job/

http://qnalist.com/questions/4726691/oozie-reports-unkown-hadoop-job-failure-but-no-error-indication-in-yarn

 http://blog.cloudera.com/blog/2012/12/how-to-use-the-sharelib-in-apache-oozie/

 

  • 大小: 191.6 KB
  • 大小: 146.7 KB
  • 大小: 195.5 KB
  • 大小: 54.4 KB
分享到:
评论

相关推荐

    OOZIE 配置和调度流程(1).doc

    * OOZIE 调度文件:oozie_run 文件夹下的文件包括 coordinator.xml、workflow.xml、job_h.properties、job_test.properties、run.sh、test.sh、rbis-spark_2.10-1.0.jar、mysql-connector-java.jar 和 commons-pool2...

    oozie:Apache Oozie的镜子

    阿帕奇·奥兹(Apache Oozie)什么是Oozie Oozie是一个可扩展,可扩展且可靠的系统,用于通过Web服务定义,管理,调度和执行复杂的Hadoop工作负载。 更具体地说,这包括: 基于XML的声明性框架,用于指定作业或相关...

    hadoop-oozie:具有Oozie的映像,该映像是为Hadoop 2.x构建的(带有2.7.0库)

    适用于Hadoop 2.x的Oozie 这是一个映像,该映像对oozie / webapp的uber配置文件进行了一些更改,并使用hadoop-2配置文件和Hadoop 2.7.0库构建了一个Oozie发行版。...andlaz/hadoop-oozie su oozie -c 'oozied.sh run'

    oozie 入门

    oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie

    oozie使用整理

    <workflow-app name="foo-wf" xmlns="uri:oozie:workflow:0.1"> ``` 2. **End 控制节点**:表示工作流的成功结束。当工作流中的一个任务到达 end 节点时,其他正在执行的任务会被终止。示例如下: ```xml ...

    Oozie调度SparkSQL样例代码_oozie_hive_

    <workflow-app name="spark-sql-workflow" xmlns="uri:oozie:workflow:0.5"> <spark xmlns="uri:oozie:spark-action:0.2"> ${jobTracker} ${nameNode} <name>spark.master <value>yarn-cluster ...

    oozie-4.3.1.tar.gz

    4. 构建Oozie:`mvn clean install -DskipTests` 5. 创建数据库:根据Oozie的数据库要求(如MySQL)创建数据库和用户。 6. 初始化数据库:`bin/ooziedb.sh create -sqlfile db/create Derby.sql`(对于Derby数据库)...

    oozie配置mysql:表结构详解

    oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。

    Oozie的安装与配置.docx

    - 安装并运行Oozie自带的例子,例如Map-Reduce示例,首先解压`oozie-examples.tar.gz`,然后根据应用类型修改配置文件,提交作业并监控其运行状态。 在实际操作中,确保所有步骤按照正确顺序执行,并检查每个步骤...

    MySQL :oozie建表sql

    Hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 解决方案:oozie建表sql,直接下载,执行即可。

    oozie oozie

    在Hadoop生态系统中,Oozie是一个工作流调度系统,用于管理Hadoop作业。它允许用户定义、调度和协调各种Hadoop相关任务,如MapReduce、Pig、Hive、Sqoop等。当遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”...

    oozie最简单的安装说明+ExtJS-2.2包【亲测100%成功】

    3. 配置Oozie:编辑`conf/oozie-site.xml`,设置Oozie服务器的相关属性,如Hadoop配置位置、数据库连接等。 4. 创建数据库:Oozie需要一个数据库来存储元数据,可以是MySQL、Derby等。根据你的选择,执行相应的SQL...

    extjs 2.2(oozie需要的)

    在实际操作中,执行以下步骤可以确保 ExtJS 2.2 成功集成到 Oozie: 1. 下载并解压提供的 `ext-2.2.zip` 压缩包。 2. 将解压后的目录移动到 `/opt/cloudera/parcels/CDH/lib/oozie/libext`。如果使用 `unzip` 命令...

    oozie-4.1.0.tar.gz

    **Oozie 4.1.0:大数据工作流管理工具** Oozie 是一个针对Apache Hadoop生态系统的开源工作流调度系统,用于管理和协调Hadoop集群中的各种作业和任务。在4.1.0版本中,Oozie提供了一个灵活、可扩展的框架,允许用户...

    Apache Oozie Essentials(PACKT,2015)

    Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create ...

    oozie-5.0.0.tar.gz

    《Apache Oozie 5.0.0:工作流调度利器》 Apache Oozie 是一个集成在Hadoop生态系统中的工作流调度系统,专为管理Hadoop作业而设计。Oozie 5.0.0 版本是该工具的一个重要里程碑,它于2019年6月25日发布,提供了多项...

    oozie介绍及使用详解

    **Oozie简介** Oozie是Apache Hadoop项目中的一个工作流调度系统,用于管理Hadoop生态系统中的批处理作业。它支持Hadoop MapReduce、Pig、Hive、Sqoop等多种工具的任务调度,同时也可扩展到其他自定义Java或Shell...

    Oozie ext-2.2.zip

    【Oozie ext-2.2.zip】是一个与Apache Oozie相关的压缩包,它包含了Oozie图形界面设置所需的工具组件。Apache Oozie是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业,如MapReduce、Pig、Hive、Sqoop等...

Global site tag (gtag.js) - Google Analytics