`
- 浏览:
15493 次
- 性别:
-
相关代码:
OozieClient oozieClient = new OozieClient("http://namenode:11000/oozie");
Properties conf = oozieClient.createConfiguration();
conf.setProperty(OozieClient.APP_PATH, "hdfs://namenode:49000/user/hadoop/examples/apps/map-reduce-1");
conf.setProperty("jobTracker", "namenode:49001");
conf.setProperty("nameNode", "hdfs://namenode:49000");
conf.setProperty("queueName", "default");
conf.setProperty("examplesRoot", "examples");
conf.setProperty("outputDir", "map-reduce-out-001");
try {
String jobId = oozieClient.run(conf);
System.out.println("workflow job has submitted");
while (WorkflowJob.Status.RUNNING == oozieClient.getJobInfo(jobId).getStatus()) {
System.out.println("workflow job running");
Thread.sleep(10 * 1000);
}
System.out.println("workflow job completed");
System.out.println(oozieClient.getJobInfo(jobId));
} catch (Exception e) {
System.out.println("Errors");
e.printStackTrace();
}
也可以加载相关的job.properties文件
OozieClient oozieClient = new OozieClient("http://namenode:11000/oozie");
Properties conf = oozieClient.createConfiguration();
conf.setProperty(OozieClient.APP_PATH, "hdfs://namenode:49000/user/hadoop/examples/apps/map-reduce-1");
InputStream inStream = null;
try {
inStream=MyClient002.class.getClassLoader().getResourceAsStream(
"job/job.properties");
conf.load(inStream);
String jobId = oozieClient.run(conf);
System.out.println("workflow job has submitted");
while (WorkflowJob.Status.RUNNING == oozieClient.getJobInfo(jobId).getStatus()) {
System.out.println("workflow job running");
Thread.sleep(10 * 1000);
}
System.out.println("workflow job completed");
System.out.println(oozieClient.getJobInfo(jobId));
} catch (Exception e) {
System.out.println("Errors");
e.printStackTrace();
} finally {
if (null != inStream) {
try {
inStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
**JavaAction**是Oozie提供的一个特殊功能,允许用户编写Java程序来实现自定义逻辑,这些Java程序可以在Hadoop集群中以MapReduce作业的形式运行。JavaAction特别适合那些需要更灵活控制逻辑或者进行特定数据处理的...
* 运行作业:oozie job -oozie http://localhost:11000/oozie -start job-id * 暂停作业:oozie job -oozie http://localhost:11000/oozie -suspend job-id * 杀死作业:oozie job -oozie ...
- 在Oozie源代码目录下,运行`bin/mkdistro.sh -DskipTests -Dhadoop.version=2.4.1`命令,跳过测试阶段,指定Hadoop版本为2.4.1。首次编译可能需要较长时间,因为Maven会自动下载依赖的jar包。 4. **解决编译错误...
Oozie 的Action执行模型确保了用户代码的安全执行,Oozie Server不直接运行用户代码,而是通过一个启动作业(launcher job)来执行Action。这个启动作业是一个只包含Map阶段的MapReduce作业,它不知道具体的执行环境...
5. **运行Oozie测试** 编写一个简单的WorkFlow(工作流),并上传至HDFS上。例如: ```bash oozie job -oozie http://localhost:11000/oozie -config /path/to/workflow.xml ``` 6. **解决常见问题** 如果...
Oozie与Hadoop生态系统紧密集成,支持调度Hadoop的MapReduce、Pig、Hive、Sqoop等任务,以及Shell命令和Java程序。下面将详细介绍如何使用Oozie进行不同类型的作业调度。 1. **Oozie调度Shell脚本** - **解压官方...
而ActionNodes则执行具体的任务,比如HDFS操作、MapReduce作业、Pig任务、Hive查询、Sqoop导入导出、Java代码执行、SSH命令执行、发送电子邮件以及嵌套的子工作流等。 特别地,Oozie引入了Coordinator和Bundle的...
此外,分布式系统中可能会用到分布式定时任务,如Elasticsearch的Curator或Apache Hadoop的Oozie,它们可以协调多节点的任务执行,确保高可用性和一致性。 在项目Manager中,定时任务可能用于处理如数据同步、用户...
主要的配置文件是`azkaban.properties`,需要根据你的系统环境进行适当修改,如设置数据库连接信息、Java运行环境参数等。 3. **数据库设置**:Azkaban支持多种数据库,如MySQL、PostgreSQL等,用于存储工作流和...
此外,确保系统满足Hue的硬件和软件要求,例如Python版本、Java运行时环境等。 总之,"hue-3.9.0-cdh5.9.3.tar.gz"是用于在CDH 5.9.3环境中部署和使用的Hue的压缩包,它为大数据分析提供了一套直观的Web界面,简化...