`
tangjunliang
  • 浏览: 109214 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

关于oozie时区的设置

阅读更多
oozie版本:oozie-4.0.0-cdh5.0.0-beta-1  

   oozie默认的时区是UTC,所以我们在定时跑任务的时候,如果设置的时间是当前时间,发现JOB并不会跑起来,而是处于PREA状态。如果需要JOB按照我们的设置的时间去跑该如何设置?

    我们在配置任务的时候,在coordinator.xml中,有时区的配置,默认是timezone="UTC",当我们把它改成,启动我们的JOB,发现这个配置并没有起作用。

    打开oozie的配置文件oozie-default.xml,我们发现有以下的一个配置:
    <property>
        <name>oozie.processing.timezone</name>
        <value>UTC</value>
        <description>
            Oozie server timezone. Valid values are UTC and GMT(+/-)####, for example 'GMT+0530' would be India
            timezone. All dates parsed and genered dates by Oozie Coordinator/Bundle will be done in the specified
            timezone. The default value of 'UTC' should not be changed under normal circumtances. If for any reason
            is changed, note that GMT(+/-)#### timezones do not observe DST changes.
        </description>
    </property>

我们把它的配置值改成GMT+0800后,重新启动OOZIE服务,再启动我们的JOB,发现这个配置还是不起作用。

    后来发现在OOZIE的启动日志中:
2013-09-05 09:27:06,546  INFO XLogService:539 -
 *******************************************************************************
  STARTUP MSG: Oozie BUILD_VERSION [3.3.2-cdh4.3.0] compiled by [jenkins] on [2013.05.28-03:57:35GMT]
  STARTUP MSG:       revision [unavailable]@[unavailable]
*******************************************************************************
2013-09-05 09:27:06,558  INFO XLogService:539 - Log4j configuration file [oozie-log4j.properties]
2013-09-05 09:27:06,560  INFO XLogService:539 - Log4j configuration file loaded from [/dw/oozie/conf]
2013-09-05 09:27:06,561  INFO XLogService:539 - Log4j reload interval [10 sec]
2013-09-05 09:27:06,589  INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie home dir  [/dw/oozie]
2013-09-05 09:27:06,590  INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie conf dir  [/dw/oozie/conf]
2013-09-05 09:27:06,593  INFO ConfigurationService:539 - USER[-] GROUP[-] Oozie conf file [oozie-site.xml]


发现oozie加载了oozie-site.xml这个配置文件,并没有加载oozie-default.xml,难道是这个原因? 是的,原因在oozie的CDH版本的官方文档中说oozie-default.xml这个文件不会被oozie使用,仅作为一个参考。

所以就把这段代码拷贝到了oozie-site.xml的配置中:
  <property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>
        <description>
        Oozie server timezone. Valid values are UTC and GMT(+/-)####, for example 'GMT+0530' would be India
        timezone. All dates parsed and genered dates by Oozie Coordinator/Bundle will be done in the specified
        timezone. The default value of 'UTC' should not be changed under normal circumtances. If for any reason
        is changed, note that GMT(+/-)#### timezones do not observe DST changes.
        </description>
    </property>


重启oozie服务,JOB可以按照当前时间正常跑起来了。
注意:由于使用了GMT+0800,因此在设置start和end时间时,要改成这个时区的格式。
分享到:
评论

相关推荐

    OOZIE 配置和调度流程(1).doc

    * OOZIE WEB 界面时区设置:在 OOZIE WEB 界面中设置时区,以便正确显示作业的执行时间。 3. OOZIE 调度流程: OOZIE 调度流程主要包括 OOZIE 调度文件、相关文件说明和作业部署执行步骤。 * OOZIE 调度文件:...

    Oozie大数据调度系统从入门到精通视频教程

    2.Coordinator时区配置 3.Coordinator任务实战开发 第五章:Oozie可视化开发 1.集成Hue配置 2.基于Hue构建Oozie工作流开发实战 第六章:Oozie监控任务管理 1.Oozie任务的查看 2.Oozie任务的提交 3....

    Oozie的使用

    - **检查时区**:确保Oozie服务器的时区与你的预期一致。 - **修改oozie-site.xml**:在Oozie配置文件中设置定时器的相关参数,如调度间隔。 - **修改JS框架**:如果你使用Web UI,可能需要调整前端代码来显示和...

    coordinator设置定时任务

    ### 使用Oozie Coordinator 设置定时任务详解 #### 一、Oozie Coordinator 概述 Oozie Coordinator 是 Apache Oozie 的一个组件,用于管理 Hadoop 作业的周期性调度。Coordinator 可以帮助用户定义复杂的依赖关系...

    hue工作流使用说明

    - 配置时区为东八区,确保Oozie服务能正确处理时间。 - 修改默认的数据库设置,从derby更换为mysql数据库,并重启Oozie服务。 - 将Oozie自带的例子和ShareLib部署到HDFS的home目录。 3. 工作流操作: - 通过...

    面试大数据岗位 spark相关问题汇总

    - 修改`oozie-site.xml`中的配置项`oozie.processing.timezone`为对应的时区,例如`GMT+0800`。 - 如果是通过数据库连接,可以在连接字符串中添加`serverTimezone`参数,如`dbConn="jdbc:mysql://101.200.230.0:...

    CDH5.14安装步骤.docx

    此外,设置静态IP地址和hostname,并确保所有服务器的时间和时区一致,这可以通过安装和配置NTP服务来实现。NTP(Network Time Protocol)用于同步网络中的计算机时间,以避免时间不一致导致的问题。 接下来是安装...

    Azkaban协调任务手册.docx

    - **时区设置**:通过`default.timezone.id`属性设置正确的时区。 - **数据库配置**:设置Azkaban与MySQL数据库的连接参数,包括数据库类型、主机名、端口、用户名、密码等。 - **Jetty服务器配置**:配置Jetty...

    1、azkaban介绍、三种(solo-server、two-server和multiple-executor)部署方式及验证

    1. 解压缩Azkaban的安装包并配置环境,包括修改`azkaban.properties`(如设置时区)和`plugins/jobtypes/commonprivate.properties`(可能需要调整内存检查设置)。 2. 使用启动脚本`start-solo.sh`启动Azkaban服务...

    HUE搭建说明文档

    - `time_zone`: 设置时区。 3. **修复Notebook中SparkSQL的问题**: 对于Hue 3.11版本(对应CDH的Hue-3.9.0版本),需要修改`notebook`模块中的`hiveserver2.py`文件,将第609行的`spark-sql`改为`sparksql`。 4. ...

Global site tag (gtag.js) - Google Analytics