1. when run oozie examples, there is a error
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/CommandNotFound/util.py", line 24, in crash_guard
callback()
File "/usr/lib/command-not-found", line 69, in main
enable_i18n()
File "/usr/lib/command-not-found", line 40, in enable_i18n
locale.setlocale(locale.LC_ALL, '')
File "/usr/lib/python3.3/locale.py", line 541, in setlocale
return _setlocale(category, locale)
locale.Error: unsupported locale setting
A:
---------
ubuntu:
#locale
#locale -a
#vi /etc/default/locale
LANG="en_AU.UTF-8"
LANGUAGE="en_AU:en"
LC_CTYPE="en_AU.UTF-8"
LC_NUMERIC="en_AU.UTF-8"
LC_TIME="en_AU.UTF-8"
LC_COLLATE=en_AU.UTF-8
LC_MONETARY="en_AU.UTF-8"
LC_MESSAGES=en_AU.UTF-8
LC_PAPER="en_AU.UTF-8"
LC_NAME="en_AU.UTF-8"
LC_ADDRESS="en_AU.UTF-8"
LC_TELEPHONE="en_AU.UTF-8"
LC_MEASUREMENT="en_AU.UTF-8"
LC_IDENTIFICATION="en_AU.UTF-8"
#source /etc/default/locale
2 Jobtracker [192.168.122.1:2015] not allowed, not in Oozies whitelist
add the configure entity to oozie-site.xml
<property>
<name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
<value>192.168.122.1:2015</value>
<description>
Whitelisted job tracker for Oozie service.
</description>
</property>
3.org.apache.oozie.action.ActionExecutorException: JA008: File /home/zhaohj/hadoop/oozie-4.0.1/oozie-server/temp/oozie-zhj3452223772011438615.dir/java-launcher.jar does not exist
4.PID file found but no matching process was found
A:delete contents of oozie-server/temp and oozie-server/work, then get the pid of oozied by ps -ef |grep oozie, kill -s -9 pidofoozied. Restart oozlie
5.when run pig example, error appears
ERROR 2998: Unhandled internal error. org/joda/time/ReadableInstant
java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.PigMain not found
sharelib is not created correctly.
6.
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
The root cause is that the sharelib is not correct. see oozie document
IMPORTANT: It is strongly recommend to use a Bigtop distribution if using Hadoop 2.x because the Oozie sharelibs built from the tarball distribution will not work with it.
In oozie4.0.1, pig action just support Hadoop 1.x,so produce No.6 error
- in Hadoop 1.x: JobContext is a class
- in Hadoop 2.x: JobContext is an interface
A: This issue takes me about one week to deal with. It's panic experience through googing and baiduing without any useful information except that the problem is concerned with sharelib.
The follwoing steps are adopted by me to fix this :
a. backups all jars in share/lib/pig
b. delete share/lib/pig in hdfs
c. compile pig-0.12.0 to support hadoop2.3.0
d. copy all jars except hadoop*.jar in pig-0.12.0/build/ivy/lib/Pig to oozie-4.0.1/share/lib/pig
f. copy pig-0.12.0.jar pig-0.12.1-withouthadoop.jar to share/lib/pig
d. copy oozie-sharelib-pig-4.0.1.jar from backuped jars in share/lib/pig
f. update share to hdfs by
oozie-setup.sh sharelib upgrade -fs hdfs://192.168.122.1:2014 -locallib share/
7.when I delete sharelib and upgrade it, error appears
Exception occured: [Server IPC version 9 cannot communicate with client version 4]
A:due to mistake, I compile oozie-4.0.1 target with MR1 not YARN. Recompile it against YARN, fix the problem.
相关推荐
* OOZIE 系统时区配置:在 CM OOZIE 的配置界面,oozie-site.xml 的 Oozie Server 高级配置代码段(安全阀)这一栏配置如下属性,然后重启 OOZIE 服务:<property> <name>oozie.processing.timezone</name> <value>...
oozie 入门 oozie概述:oozie能干什么 oozie格式:怎么用oozie oozie执行:怎么运行oozie
阿帕奇·奥兹(Apache Oozie)什么是Oozie Oozie是一个可扩展,可扩展且可靠的系统,用于通过Web服务定义,管理,调度和执行复杂的Hadoop工作负载。 更具体地说,这包括: 基于XML的声明性框架,用于指定作业或相关...
适用于Hadoop 2.x的Oozie 这是一个映像,该映像对oozie / webapp的uber配置文件进行了一些更改,并使用hadoop-2配置文件和Hadoop 2.7.0库构建了一个Oozie发行版。 用法 将Oozie sharelib安装到HDFS docker run -ti...
<workflow-app name="foo-wf" xmlns="uri:oozie:workflow:0.1"> ``` 2. **End 控制节点**:表示工作流的成功结束。当工作流中的一个任务到达 end 节点时,其他正在执行的任务会被终止。示例如下: ```xml ...
<workflow-app name="spark-sql-workflow" xmlns="uri:oozie:workflow:0.5"> <spark xmlns="uri:oozie:spark-action:0.2"> ${jobTracker} ${nameNode} <name>spark.master <value>yarn-cluster ...
4. 构建Oozie:`mvn clean install -DskipTests` 5. 创建数据库:根据Oozie的数据库要求(如MySQL)创建数据库和用户。 6. 初始化数据库:`bin/ooziedb.sh create -sqlfile db/create Derby.sql`(对于Derby数据库)...
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
Hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 解决方案:oozie建表sql,直接下载,执行即可。
在Hadoop生态系统中,Oozie是一个工作流调度系统,用于管理Hadoop作业。它允许用户定义、调度和协调各种Hadoop相关任务,如MapReduce、Pig、Hive、Sqoop等。当遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”...
3. 配置Oozie:编辑`conf/oozie-site.xml`,设置Oozie服务器的相关属性,如Hadoop配置位置、数据库连接等。 4. 创建数据库:Oozie需要一个数据库来存储元数据,可以是MySQL、Derby等。根据你的选择,执行相应的SQL...
《Apache Oozie 5.0.0:工作流调度利器》 Apache Oozie 是一个集成在Hadoop生态系统中的工作流调度系统,专为管理Hadoop作业而设计。Oozie 5.0.0 版本是该工具的一个重要里程碑,它于2019年6月25日发布,提供了多项...
【Oozie的安装与配置】是Hadoop生态系统中的一个重要环节,Oozie是一个工作流调度系统,用于管理和协调Hadoop集群上的各种作业,如MapReduce、Pig、Hive、Spark等。以下是对Oozie安装配置过程的详细解释: 1. **所...
在实际操作中,执行以下步骤可以确保 ExtJS 2.2 成功集成到 Oozie: 1. 下载并解压提供的 `ext-2.2.zip` 压缩包。 2. 将解压后的目录移动到 `/opt/cloudera/parcels/CDH/lib/oozie/libext`。如果使用 `unzip` 命令...
**Oozie 4.1.0:大数据工作流管理工具** Oozie 是一个针对Apache Hadoop生态系统的开源工作流调度系统,用于管理和协调Hadoop集群中的各种作业和任务。在4.1.0版本中,Oozie提供了一个灵活、可扩展的框架,允许用户...
Apache Oozie 是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业。Oozie 5.2.1是该软件的一个版本,提供了一系列改进和修复,旨在提高稳定性和性能。这个"oozie-5.2.1-distro.tar.gz"文件是一个压缩包,...
**Oozie简介** Oozie是Apache Hadoop项目中的一个工作流调度系统,用于管理Hadoop生态系统中的批处理作业。它支持Hadoop MapReduce、Pig、Hive、Sqoop等多种工具的任务调度,同时也可扩展到其他自定义Java或Shell...
【Oozie ext-2.2.zip】是一个与Apache Oozie相关的压缩包,它包含了Oozie图形界面设置所需的工具组件。Apache Oozie是一个工作流调度系统,用于管理和协调Hadoop生态系统中的作业,如MapReduce、Pig、Hive、Sqoop等...