oozie版本:oozie-4.0.0-cdh5.0.0-beta-1
oozie默认的时区是UTC,所以我们在定时跑任务的时候,如果设置的时间是当前时间,发现JOB并不会跑起来,而是处于PREA状态。如果需要JOB按照我们的设置的时间去跑该如何设置?
我们在配置任务的时候,在coordinator.xml中,有时区的配置,默认是timezone="UTC",当我们把它改成,启动我们的JOB,发现这个配置并没有起作用。
打开oozie的配置文件oozie-default.xml,我们发现有以下的一个配置:
<property>
<name>oozie.processing.timezone</name>
<value>UTC</value>
<description>
Oozie server timezone. Valid values are UTC and GMT(+/-)####, for example 'GMT+0530' would be India
timezone. All dates parsed and genered dates by Oozie Coordinator/Bundle will be done in the specified
timezone. The default value of 'UTC' should not be changed under normal circumtances. If for any reason
is changed, note that GMT(+/-)#### timezones do not observe DST changes.
</description>
</property>
我们把它的配置值改成GMT+0800后,重新启动OOZIE服务,再启动我们的JOB,发现这个配置还是不起作用。
后来发现在OOZIE的启动日志中:
2013-09-05 09:27:06,546 INFO XLogService:539 -
*******************************************************************************
STARTUP MSG: Oozie BUILD_VERSION [3.3.2-cdh4.3.0] compiled by [jenkins] on [2013.05.28-03:57:35GMT]
STARTUP MSG: revision [unavailable]@[unavailable]
*******************************************************************************
2013-09-05 09:27:06,558 INFO XLogService:539 - Log4j configuration file [oozie-log4j.properties]
2013-09-05 09:27:06,560 INFO XLogService:539 - Log4j configuration file loaded from [/dw/oozie/conf]
2013-09-05 09:27:06,561 INFO XLogService:539 - Log4j reload interval [10 sec]
2013-09-05 09:27:06,589 INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie home dir [/dw/oozie]
2013-09-05 09:27:06,590 INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie conf dir [/dw/oozie/conf]
2013-09-05 09:27:06,593 INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie conf file [oozie-site.xml]
发现oozie加载了oozie-site.xml这个配置文件,并没有加载oozie-default.xml,难道是这个原因? 是的,原因在oozie的CDH版本的官方文档中说oozie-default.xml这个文件不会被oozie使用,仅作为一个参考。
所以就把这段代码拷贝到了oozie-site.xml的配置中:
<property>
<name>oozie.processing.timezone</name>
<value>GMT+0800</value>
<description>
Oozie server timezone. Valid values are UTC and GMT(+/-)####, for example 'GMT+0530' would be India
timezone. All dates parsed and genered dates by Oozie Coordinator/Bundle will be done in the specified
timezone. The default value of 'UTC' should not be changed under normal circumtances. If for any reason
is changed, note that GMT(+/-)#### timezones do not observe DST changes.
</description>
</property>
重启oozie服务,JOB可以按照当前时间正常跑起来了。
注意:由于使用了GMT+0800,因此在设置start和end时间时,要改成这个时区的格式。
分享到:
相关推荐
* OOZIE WEB 界面时区设置:在 OOZIE WEB 界面中设置时区,以便正确显示作业的执行时间。 3. OOZIE 调度流程: OOZIE 调度流程主要包括 OOZIE 调度文件、相关文件说明和作业部署执行步骤。 * OOZIE 调度文件:...
2.Coordinator时区配置 3.Coordinator任务实战开发 第五章:Oozie可视化开发 1.集成Hue配置 2.基于Hue构建Oozie工作流开发实战 第六章:Oozie监控任务管理 1.Oozie任务的查看 2.Oozie任务的提交 3....
- **检查时区**:确保Oozie服务器的时区与你的预期一致。 - **修改oozie-site.xml**:在Oozie配置文件中设置定时器的相关参数,如调度间隔。 - **修改JS框架**:如果你使用Web UI,可能需要调整前端代码来显示和...
### 使用Oozie Coordinator 设置定时任务详解 #### 一、Oozie Coordinator 概述 Oozie Coordinator 是 Apache Oozie 的一个组件,用于管理 Hadoop 作业的周期性调度。Coordinator 可以帮助用户定义复杂的依赖关系...
- 配置时区为东八区,确保Oozie服务能正确处理时间。 - 修改默认的数据库设置,从derby更换为mysql数据库,并重启Oozie服务。 - 将Oozie自带的例子和ShareLib部署到HDFS的home目录。 3. 工作流操作: - 通过...
- 修改`oozie-site.xml`中的配置项`oozie.processing.timezone`为对应的时区,例如`GMT+0800`。 - 如果是通过数据库连接,可以在连接字符串中添加`serverTimezone`参数,如`dbConn="jdbc:mysql://101.200.230.0:...
此外,设置静态IP地址和hostname,并确保所有服务器的时间和时区一致,这可以通过安装和配置NTP服务来实现。NTP(Network Time Protocol)用于同步网络中的计算机时间,以避免时间不一致导致的问题。 接下来是安装...
- **时区设置**:通过`default.timezone.id`属性设置正确的时区。 - **数据库配置**:设置Azkaban与MySQL数据库的连接参数,包括数据库类型、主机名、端口、用户名、密码等。 - **Jetty服务器配置**:配置Jetty...
1. 解压缩Azkaban的安装包并配置环境,包括修改`azkaban.properties`(如设置时区)和`plugins/jobtypes/commonprivate.properties`(可能需要调整内存检查设置)。 2. 使用启动脚本`start-solo.sh`启动Azkaban服务...
- `time_zone`: 设置时区。 3. **修复Notebook中SparkSQL的问题**: 对于Hue 3.11版本(对应CDH的Hue-3.9.0版本),需要修改`notebook`模块中的`hiveserver2.py`文件,将第609行的`spark-sql`改为`sparksql`。 4. ...