1.oozie包的下载
3.0.*版本或者之前的版本是可以离线安装的(例如oozie-3.0.2-distro.tar.gz),在往上的版本(例如
oozie-3.3.2-distro.tar.gz和oozie-4.0.0-distro.tar.gz等)都是在线安装的版本,需要用到MAVEN工具,在安装过程中可能会碰到依赖问题,可以修改相关的POM文件。
2.解压相关tar包
tar -xzvf oozie-3.3.2-distro.tar.gz
3. 进入到解压好的目录下面,编辑 bin/addtowar.sh文件,修改相应的hadoop版本支持,4.0.0可以不用修改。
if [ "${version}" = "0.20.1" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.2" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.104" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar"
elif [ "${version}" = "1.2.1" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar:commons-configuration-*.jar"
修改成需要匹配的hadoop版本
4. 修改conf/oozie-site.xml文件中的数据库配置,修改相关JPAService选项,也可不修改,使用自带的derby数据库。
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://192.168.9.156:3306/oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>oozie</value>
</property>
5.在oozie-3.3.2下新建文件夹libext,将mysql驱动包放入其中
6. oozie-3.3.2下执行./bin/oozie-setup.sh -hadoop 1.2.1 ${HADOOP_HOME} -extjs ../ext-2.2.zip,命令会拷贝hadoop、ext相应的包到oozie的war中,4.4.0的版本是把相关的hadoop、ext包拷贝到libext下,
执行./bin/oozie-setup.sh prepare-war 命令即可
7.启动oozie
./bin/oozie-run.sh 或者用 ./bin/oozied.sh run
在浏览器中查看 http://namenode:11000/oozie 看到相关页面则表示安装成功
如果在访问过程中报访问拒绝异常,查看hadoop conf/core-site.xml文件是否有以下内容
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>namenode</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>hadoop</value>
</property>
分享到:
相关推荐
**Oozie安装部署** Oozie是Apache Hadoop生态系统中的一个工作流调度系统,用于管理Hadoop作业的生命周期。以下是对Oozie安装和部署的详细步骤: 1. **Maven安装** - 下载Maven的tar包,如maven-3.3.2,并解压至/...
第3章 Oozie的部署 3.1 部署Hadoop(CDH版本的) 3.1.2 修改Hadoop配置 core-site.xml hadoop.proxyuser.atguigu.hosts * hadoop.proxyuser.atguigu.groups * mapred-site.xml mapreduce.jobhistory....
第1章 数据转换工具Sqoop 1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4 1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4 1.02_02_01_03 Sqoop 使用...3.02_02_03_05 Oozie安装部署讲解一 网页.mp4
### Oozie安装详细步骤与配置解析 #### 一、Oozie简介 Oozie 是一个用于在 Hadoop 集群上管理和协调工作流(Workflows)和协调服务(Coordinator Jobs)的工作流调度系统。它支持多种类型的数据处理任务,如 ...
在集群中部署Redash,需要配置数据源连接,如Hive、MySQL或Elasticsearch。 综上所述,搭建这样一个大数据集群需要深入了解每个组件的特性和配置要求,同时还需要具备一定的网络和系统管理知识。过程中可能遇到的...
- 测试Oozie服务时,建议先在本地进行简单测试,确认无误后再部署到生产环境。 - 配置过程中遇到任何问题,应及时查阅官方文档或寻求社区支持。 #### 五、总结 通过上述步骤,你可以成功地在Hadoop 2.3.0环境中...
在解压后,这些文件通常会被部署到Oozie服务器的Web应用程序目录下,以便于Oozie服务器在运行时能够访问。 安装和配置ext-2.3.0的具体步骤通常包括以下几点: 1. 下载ext-2.3.0压缩包,并将其解压至一个临时目录。...
接着部署Oozie,这通常包括解压缩Oozie安装包,解压并安装`oozie-hadooplibs`以提供对Hadoop的兼容性。然后,需要配置Oozie服务器的`oozie-site.xml`,设置Oozie服务器的URL、数据库连接等参数。最后,启动Oozie服务...
然后,使用Maven的`mvn install`命令编译源码,最后将编译好的Oozie部署到Hadoop集群上。 **自定义与扩展:** 由于是源码版本,用户可以根据需求对Oozie进行定制,比如添加新的工作流动作,调整默认配置,甚至实现...
7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:...
在部署Oozie之前,首先需要确保已经部署了Hadoop环境。对于CDH版本的Hadoop,需要在配置文件中添加Oozie相关的设置,如在`core-site.xml`中设置Oozie服务器的主机名,以及允许Oozie代理的用户和用户组。此外,还需要...
在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装Oozie后,可能会遇到无法查看或使用控制台的问题。这通常是由于Oozie的Web界面依赖于一些外部(ext)库,而这些库并未包含在默认的安装包中。因此...
OOZIE 调度流程主要包括 OOZIE 调度文件、相关文件说明和作业部署执行步骤。 * OOZIE 调度文件:oozie_run 文件夹下的文件包括 coordinator.xml、workflow.xml、job_h.properties、job_test.properties、run.sh、...
标题中的"EXT-2.2.zip Oozie的web界面安装所需要的包"表明这是一个与Oozie相关的压缩文件,主要用于安装Oozie的Web界面。Oozie是Apache Hadoop项目的一部分,它是一个工作流调度系统,用于管理Hadoop作业。在Hadoop...
在实际部署中,我们还需要关注Oozie的安装目录结构、Hadoop的配置以及Oozie与Hadoop集群的集成。同时,安全设置,如Kerberos认证,也是Oozie在生产环境中不可忽视的部分。最后,Oozie的作业定义(通常为XML格式)也...
《oozie控制台ext jar包.zip》是一款专用于oozie web控制台的扩展包,它包含了一组必要的jar文件,能够极大地丰富和优化...在安装和使用过程中,遵循正确的步骤,注意兼容性问题,将有助于充分利用oozie的强大功能。
格式化集群并启动二、部署oozie1.上传安装包2.解压3.集成jar包4.修改oozie的配置文件4.1JDBC驱动包4.2jdbc url4.3数据库用户名4.4数据库密码5.在MySQL中创建数据库6.初始化oozie7.启动 本人在安装oozie的
在实际部署过程中,可能还需要注意一些其他因素,例如服务器的权限设置、Oozie的配置文件(oozie-site.xml)是否正确配置,以及网络环境是否允许Oozie服务器访问这些资源。同时,如果Oozie服务已经运行,重启服务...
安装和使用【Oozie ext-2.2.zip】时,需要注意以下步骤: 1. **解压文件**:首先需要将压缩包解压到合适的目录下。 2. **配置Oozie**:根据提供的配置文件或者说明,更新Oozie服务器的配置文件(如oozie-site.xml)...