`

oozie安装

 
阅读更多

 

 

1 到http://archive.cloudera.com/cdh5/cdh/5 选择hadoop和oozie的对应版本,版本一定要对应,否则可能安装成功但运行时可能不成功。

 

	1.1) 本案例以hadoop2.2.0和oozie4.0.0为样本
	1.2) 下载oozie-4.0.0-cdh5.0.0-beta-2.tar.gz
	1.3) 解压tar -zxvf oozie-4.0.0-cdh5.0.0-beta-2.tar.gz ./
	1.4) 修改文件名 mv oozie-4.0.0-cdh5.0.0-beta-2 oozie
	1.5) 进入安装目录 cd oozie
	1.6) 拷贝ext-2.2.zip 到安装目录 cp /home/ext-2.2.zip /opt/oozie/
	1.7) 拷贝mysql-connector-java-3.1.14-bin.jar 到解压后的 /opt/oozie/libtools

 

 

 

2 执行安装操作

 

  进入 oozie/bin下
   执行命令  其中hadoop 2.2.0 表示hadoop的版本 中间需要有空格
    ./addtowar.sh -inputwar /opt/oozie/oozie.war  -outputwar /opt/oozie/oozie-server/webapps/oozie.war -hadoop 2.2.0 ${HADOOP_HOME} -extjs /opt/oozie/ext-2.2.zip 解压oozie.war
	./ooziedb.sh create -sqlfile oozie.sql   创建oozie.sql文件
	./oozie-setup.sh db create -run -sqlfile /opt/oozie/bin/oozie.sql  向oozie.sql增加创建表文件语句
	./oozie-setup.sh sharelib create   -fs hdfs://master:9000 -locallib /opt/oozie/oozie-sharelib-4.0.0-cdh5.0.5-yarn.tar.gz    设置共享库
	共享库会在hdfs路径的  /user/root/share/lib/lib_20150423135432(年月日时分秒)   其中你在oozie-site.xml中设置用户是谁 那么共享目录 /user/用户名称就是谁
	

 

 

3  修改oozie-site.xml配置文件 ---> 入下操作都是在oozie-site.xml中操作

 

 3.1 修改oozie.service.HadoopccessorService.hadoop.configurations属性 (/opt/hadoop-2.2.0/etc/hadoop为hadoop安装路径)
   <property>
	<name>oozie.service.HadoopccessorService.hadoop.configurations</name>
	<value>*=/opt/hadoop-2.2.0/etc/hadoop</value>
   </property>
   
   3.2 配置mysql为元数据管理
   <property>
	<name>oozie.service.JPAService.jdbc.driver</name>
	<value>com.mysql.jdbc.Driver</value>
   </property>
   
   <property>
	<name>oozie.service.JPAService.jdbc.url</name>
	<value>jdbc:mysql://master:3306/oozie?characterEncoding=utf-8</value>    master为服务器169机器别名  需要在169服务器上安装mysql数据库并创建好数据库oozie
   </property>
   
    <property>
	<name>oozie.service.JPAService.jdbc.username</name>
	<value>root</value>
   </property>
   
    <property>
	<name>oozie.service.JPAService.jdbc.password</name>
	<value>123456</value>
   </property>
   
   3.3 添加操作用户权限(这里使用root用户  这里是配置linux用户提交任务到oozie的 linux--->oozie)
   
   <property>
	<name>oozie.service.ProxyUserervic.proxyuser.root.hosts</name>
	<value>*</value>
   </property>
   
   <property>
	<name>oozie.service.ProxyUserervic.proxyuser.root.groups</name>
	<value>*</value>
   </property>
   
   3.4 oozie提交任务的权限设置:  增加oozie白名单whitelist(这里配置hadoop进入oozie的持有证书 hadoop ---> oozie)  下面的*可以使用空格取代
   
   <property>
	<name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
	<value>*</value>
	<description>whitelisted job tracker for oozie service</description>
   </property>
   
   <property>
	<name>oozie.service.HadoopAccessorService.nameNode.whitelist</name>
	<value>*</value>
	<description>whitelisted job tracker for oozie service</description>
   </property>
   

 

 

4  启动oozie

    /opt/oozie/bin, 执行 ./oozie-run.sh 此时是前台启动oozie,可以在命令行里查看启动信息,看看是否有错,
		如果没错,访问 http://master:11000/oozie 看是否出现oozie管理页面,如果没有什么问题,ctrl+c停掉oozie,
		并/opt/oozie/bin/oozie-start.sh 来后台启动oozie

 

5 配置hadoop文件(以下配置文件需要在所有hadoop集群节点上进行修改) 

  在 /opt/hadoop-2.2.0/etc/hadoop下

 

5.1 修改mapred-site.xml 添加如下配置
	
    	<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
		</property>
		<property>
			<name>mapreduce.jobhistory.address</name>
			<value>master:10020</value>
		</property>
		<property>
			<name>mapreduce.jobhistory.webapp.address</name>
			<value>master:19888</value>
		</property>
		<property>
			<name>mapreduce.jobhistory.intermediate-done-dir</name>
			<value>/history/done_intermediate</value>
		</property>
		
     5.2 修改yarn-site.xml 添加如下配置
	 
		<property>
			<name>yarn.log-aggregation-enable</name>
			<value>true</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
			<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address</name>
			<value>master:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.scheduler.address</name>
			<value>master:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address</name>
			<value>master:8031</value>
		</property>
		<property>
			<name>yarn.resourcemanager.admin.address</name>
			<value>master:8033</value>
		</property>
		<property>
			<name>yarn.resourcemanager.webapp.address</name>
			<value>master:8088</value>
		</property>
		
	5.3 启动hadoop的historyserver服务
		a) hadoop的sbin下 ./mr-jobhistory-daemon.sh start historyserver
		
	5.4 修改hadoop的core-site.xml (配置hadoop接受oozie用户提交任务的用户声明  配置 oozie--->hadoop的持有证书)	
	
		<property>   root是linux提交任务到oozie的用户 在 3.4 oozie提交任务的权限设置 里面设置过
			<name>hadoop.proxyuser.root.hosts</name>
			<value>*</value>
		</property>
		<property>
			<name>hadoop.proxyuser.root.groups</name>
			<value>*</value>
		</property>
	5.5 hdfs-site.xml中 
		
		<property>
			<name>dfs.permission</name>
			<value>false</value>
		</property>

 

6   配置hive的hive-site.xml

 

6.1 
		<property>
			<name>hive.metastore.uris</name>
			<value>thrift://master:9083</value>
		</property>
		<property>
			<name>hadoop.metastore.local</name>
			<value>false</value>
		</property>
		
		6.2 启动metastore服务
		    hive --service metastore

 

 

7   至此,oozie, hadoop, hive 相关配置完毕,重新启动hadoop集群和oozie组件

 

8   建议使用谷歌浏览器打开 如果你开启的oozie界面仅仅只现实一部分的时候(比如作者使用360打开) ,此时可以使用谷歌浏览器打开
    像这种开源的东东,感觉谷歌浏览器会支持的更好。

分享到:
评论

相关推荐

    Oozie安装部署及任务定义说明

    **Oozie安装部署** Oozie是Apache Hadoop生态系统中的一个工作流调度系统,用于管理Hadoop作业的生命周期。以下是对Oozie安装和部署的详细步骤: 1. **Maven安装** - 下载Maven的tar包,如maven-3.3.2,并解压至/...

    oozie安装详细文档

    ### Oozie安装详细步骤与配置解析 #### 一、Oozie简介 Oozie 是一个用于在 Hadoop 集群上管理和协调工作流(Workflows)和协调服务(Coordinator Jobs)的工作流调度系统。它支持多种类型的数据处理任务,如 ...

    Oozie的安装与配置.docx

    以下是对Oozie安装配置过程的详细解释: 1. **所需软件与版本**: - Hadoop 2.4.1:作为基础的大数据处理框架,Oozie需要与其兼容。 - JDK 1.7:Java开发环境,Oozie是用Java编写的,需要JDK支持。 - Maven ...

    oozie安装时,所需的js文件包ext-2.2.zip

    oozie安装时,所需的js文件在ext-2.2中,需要解压到oozie根目录/libext/文件中

    oozie oozie

    `oozie.sql`文件是Oozie安装和配置过程中的关键组件,它包含了创建Oozie元数据存储所需的所有SQL脚本。这个文件通常包含创建Oozie在运行时依赖的各种表和视图的命令,比如`VALIDATE_CONN`表,该表可能用于验证和管理...

    oozie所需的ext下载

    2. 将解压后的文件复制到Oozie服务器的Web应用程序目录,例如`&lt;oozie安装目录&gt;/webapps/oozie/WEB-INF/lib`或`&lt;oozie安装目录&gt;/libext`,具体位置依赖于Oozie版本和配置。 3. 如果Oozie服务正在运行,需要重启服务以...

    大数据技术之Oozie入门到精通.txt

    #### 四、Oozie安装与配置 **1. 安装过程** - 下载Oozie发行版,解压缩后将必要的文件复制到Hadoop集群中。 - 配置Oozie Server的环境变量,设置数据库连接信息。 - 启动Oozie Server。 **2. 配置文件** - `oozie-...

    ext-2.2.zip (oozie打开web界面所需的js文件)

    描述提到"oozie安装时",意味着在部署Apache Oozie,一个用于管理Hadoop工作流的开源协调服务,这个"ext-2.2.zip"是必需的。Oozie的核心功能是调度和管理基于Hadoop的任务,如Hadoop MapReduce、Pig、Hive、Sqoop等...

    2018最新高清大数据协作框架全套视频教程(Sqoop,Flume,Oozie,WEB工具Hue)

    第1章 数据转换工具Sqoop 1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4 1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4 1.02_02_01_03 Sqoop 使用...3.02_02_03_05 Oozie安装部署讲解一 网页.mp4

    Oozie安装教程

    文章目录一、安装Hadoop CDH环境1.上传安装包2.解压3.修改配置文件3.1hadoop-env.sh3.2mapred-env.sh3.3yarn-env.sh3.4core-site.xml3.5hdfs-site.xml3.6mapred-site.xml3.7yarn-site.xml3.8slaves...本人在安装oozie的

    ext-2.2.7z

    描述中提到,“oozie安装时,所需要的js文件在ext-2.2.zip中,需要解压到oozie根目录/libext/文件中”。这表明ext-2.2.zip包含了Oozie运行所必需的JavaScript库,这些库可能是Ext JS框架的一部分。Ext JS是一个用于...

    oozie的安装和使用

    包括安装,配置,使用,shell action ,hive action,MapReduce action,sqoop action。

    oozie最简单的安装说明+ExtJS-2.2包【亲测100%成功】

    **Oozie简介** Oozie是Apache Hadoop生态系统中的一个...在安装过程中,注意Oozie对ExtJS的依赖,特别是对于较早的版本,需要确保正确安装和配置这个JavaScript库。通过遵循上述步骤,你应该能够成功安装并运行Oozie。

    oozie-5.2.1-distro.tar.gz

    解压"oozie-5.2.1"后,开发者需要按照特定步骤编译和安装Oozie。首先,需要配置环境,包括设置Java环境变量,安装Maven构建工具,以及确保所有依赖库的可用性。然后,使用Maven的`mvn install`命令编译源码,最后将...

    oozie的控制台用ext依赖

    在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装Oozie后,可能会遇到无法查看或使用控制台的问题。这通常是由于Oozie的Web界面依赖于一些外部(ext)库,而这些库并未包含在默认的安装包中。因此...

    EXT-2.2.zip Oozie的web界面安装所需要的包

    标题中的"EXT-2.2.zip Oozie的web界面安装所需要的包"表明这是一个与Oozie相关的压缩文件,主要用于安装Oozie的Web界面。Oozie是Apache Hadoop项目的一部分,它是一个工作流调度系统,用于管理Hadoop作业。在Hadoop...

    oozie配置文件

    在实际部署中,我们还需要关注Oozie的安装目录结构、Hadoop的配置以及Oozie与Hadoop集群的集成。同时,安全设置,如Kerberos认证,也是Oozie在生产环境中不可忽视的部分。最后,Oozie的作业定义(通常为XML格式)也...

    ext - 2.2 .zip

    描述部分提到,这个zip文件是"oozie安装必备的js包",意味着EXT库在Oozie系统中起着关键作用。Oozie是Apache软件基金会的一个项目,它是一个工作流调度系统,用于管理Hadoop作业。在Oozie的上下文中,EXT库可能是...

Global site tag (gtag.js) - Google Analytics