`
ruishen
  • 浏览: 52071 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

oozie 运行错误

 
阅读更多

Failing Oozie Launcher, Output data size [2,070] exceeds maximum [2,048]

在读取了属性信息放到oozie节点中的时候因为数据太大了。
File file = new File(System.getProperty("oozie.action.output.properties"));
Properties props = new Properties();
for (String key : prop.keySet()) {
//....
props.setProperty(key, value);

}
OutputStream os = new FileOutputStream(file);
props.store(os, "");


把数据分小点放到其他节点就ok 了 ,或者修改oozie.action.max.output.data这个参数 默认如果取不到这个参数就是2M


xml 解析错误
Nested exception:
org.xml.sax.SAXParseException: The string "--" is not permitted within comments.
at com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.createSAXParseException(ErrorHandlerWrapper.java:195)
at com.sun.org.apache.xerces.internal.util.ErrorHandlerWrapper.fatalError(ErrorHandlerWrapper.java:174)
at com.sun.org.apache.xerces.internal.impl.XMLErrorReporter.reportError(XMLErrorReporter.java:388)
at com.sun.org.apache.xerces.internal.impl.XMLScanner.reportFatalError(XMLScanner.java:1414)
at com.sun.org.apache.xerces.internal.impl.XMLScanner.scanComment(XMLScanner.java:774)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanComment(XMLDocumentFragmentScannerImpl.java:1040)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next(XMLDocumentFragmentScannerImpl.java:2954)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(XMLDocumentScannerImpl.java:648)
at com.sun.org.apache.xerces.internal.impl.XMLNSDocumentScannerImpl.next(XMLNSDocumentScannerImpl.java:140)
at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(XMLDocumentFragmentScannerImpl.java:511)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:808)
at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:119)
at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(AbstractSAXParser.java:1205)
at com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(SAXParserImpl.java:522)
at org.dom4j.io.SAXReader.read(SAXReader.java:465)
at org.dom4j.io.SAXReader.read(SAXReader.java:343)




因为在注释中有个多余的 -- 字符,是不能被使用的。
<?xml version="1.0" encoding="UTF-8"?>
<ds xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xxxx.com/datasourceSchema"
xsi:schemaLocation="http://xxxx.com/outputSchema datasource.xsd">
<queries>
<!-- -- 付款 -->
<query name="unifiedPay" splitBy="id">
<![CDATA[......]]>
</query>
<!-- -- 收款 -->
<query name="unifiedReceived" splitBy="id">
<![CDATA[......]]>
</query>
</queries>
</ds>


所以去掉就ok 了



------------------------------

oozie启动错误。


严重: Context [/oozie] startup failed due to previous errors
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearReferencesJdbc
严重: The web application [/oozie] registered the JDBC driver [com.mysql.jdbc.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered.
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearReferencesJdbc
严重: The web application [/oozie] registered the JDBC driver [org.apache.derby.jdbc.AutoloadedDriver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered.
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearReferencesJdbc
严重: The web application [/oozie] registered the JDBC driver [org.postgresql.Driver] but failed to unregister it when the web application was stopped. To prevent a memory leak, the JDBC Driver has been forcibly unregistered.
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearReferencesThreads
严重: The web application [/oozie] appears to have started a thread named [Thread-2] but has failed to stop it. This is very likely to create a memory leak.
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearReferencesThreads
严重: The web application [/oozie] appears to have started a thread named [Timer-0] but has failed to stop it. This is very likely to create a memory leak.
2013-11-28 10:51:48 org.apache.catalina.loader.WebappClassLoader clearThreadLocalMap
严重: The web application [/oozie] created a ThreadLocal with key of type [org.apache.oozie.util.XLog$Info$1] (value [org.apache.oozie.util.XLog$Info$1@4b51ac10]) and a value of type [org.apache.oozie.util.XLog.Info] (value [org.apache.oozie.util.XLog$Info@5ef77511]) but failed to remove it when the web application was stopped. This is very likely to create a memory leak.




今天oozie一直起不来,发现mysql服务器磁盘满了,mysql去连接的时候注册不上驱动。把mysql服务器磁盘清理后重启oozie就ok 了。


分享到:
评论

相关推荐

    Hue-oozie运行spark

    Hue是Cloudera开发的一个开源Web用户界面,主要用于与Hadoop...但使用时需要注意一些常见的配置和错误问题,以及对Hadoop生态系统的基本了解,这样才能确保Spark作业能够顺利运行,并在出现错误时快速定位问题所在。

    oozie oozie

    当遇到“Table ‘oozie.VALIDATE_CONN’ doesn’t exist”这样的错误时,通常意味着Oozie在尝试访问或执行与数据库相关的操作时,找不到预定义的数据表。在这种情况下,我们需要确保已经正确地配置了Oozie的元数据...

    Oozie安装部署及任务定义说明

    - 启动Oozie服务器,运行`oozie-server`命令。 6. **Oozie客户端配置** - 在客户端机器上安装Oozie客户端,确保配置文件中包含Oozie服务器的URL。 7. **Oozie任务提交** - 编写作业定义文件(如workflow.xml)...

    oozie-5.2.1-distro.tar.gz

    在生产环境中,Oozie的使用涉及到创建工作流定义(使用XML文件),提交工作流,监控运行状态,以及维护Oozie服务器的健康。运维方面,需要关注日志分析,定期备份,以及性能监控,以确保系统的高效运行。 总之,...

    oozie配置文件

    7. **oozie customAction exception.TXT**: 这可能是Oozie在处理自定义动作时遇到异常的记录,对于排查自定义工作流中的错误非常有用。 8. **adminusers.txt**: 这可能是一个包含Oozie管理员用户的列表,这些用户有...

    oozie的控制台用ext依赖

    当我们谈论"oozie的控制台用ext依赖"时,这意味着Oozie的Web控制台可能需要额外的JavaScript库或组件才能正常显示和运行。 在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装Oozie后,可能会遇到...

    Oozie_ext-2.2.zip

    确保正确放置这些文件至关重要,因为错误的位置可能导致Oozie服务器无法找到这些资源,从而影响UI的正常工作。 在实际部署过程中,可能还需要注意一些其他因素,例如服务器的权限设置、Oozie的配置文件(oozie-site...

    oozie-4.3.1.tar.gz

    2. 错误处理:利用Oozie的错误节点和重试策略,提高作业的健壮性。 3. 日志分析:通过Oozie的Web UI或API获取作业日志,便于问题排查。 4. 性能优化:合理配置Oozie服务器参数,如并发度、队列大小等,提升整体效率...

    大数据技术之Oozie入门到精通.txt

    ### 大数据技术之Oozie入门到精通 #### 一、Oozie简介与应用场景 **Oozie**是一款开源的工作流调度系统,主要用于在Hadoop生态系统中管理和执行复杂的数据处理任务。它通过定义一系列有依赖关系的操作来实现工作流...

    oozie介绍及使用详解

    4. **重试和恢复策略**:当作业失败时,Oozie可以自动重试,并且有灵活的恢复策略来处理错误。 5. **扩展性**:除了内置对Hadoop生态组件的支持,Oozie还允许用户通过编写自己的动作节点来执行自定义Java或Shell作业...

    OozieWeb界面需要的组件

    2. **工作流监控**:展示当前运行的工作流状态,包括每个节点的进度、完成时间、日志等信息。 3. **协调器和调度器**:Oozie不仅支持一次性的工作流,还支持基于时间或数据触发的协调工作流。用户可以通过Web界面...

    Oozie的安装与配置.docx

    - 安装并运行Oozie自带的例子,例如Map-Reduce示例,首先解压`oozie-examples.tar.gz`,然后根据应用类型修改配置文件,提交作业并监控其运行状态。 在实际操作中,确保所有步骤按照正确顺序执行,并检查每个步骤...

    oozie_demo

    9. **错误处理和重试策略**:在ooziedemo中,我们可以学习到如何设置错误处理机制,比如失败后重新运行某个任务,以及设置重试次数。 通过oozie_demo项目,你可以深入了解Oozie如何在实际项目中协调和调度大数据...

    oozie-4.1.0.tar.gz

    5. **启动Oozie**:启动Oozie服务器和服务,确保所有进程正常运行。 6. **验证安装**:通过Web UI或者命令行工具提交一个简单的作业,检查Oozie是否能正确接收并执行。 **使用示例** 在Oozie 4.1.0中,创建一个...

    Oozie之JavaAction测试实例

    **JavaAction**是Oozie提供的一个特殊功能,允许用户编写Java程序来实现自定义逻辑,这些Java程序可以在Hadoop集群中以MapReduce作业的形式运行。JavaAction特别适合那些需要更灵活控制逻辑或者进行特定数据处理的...

    oozie编译资源doxia

    如果你遇到与Oozie编译相关的错误,特别是涉及到文档生成的问题,检查并确认这些依赖是否正确引入是解决问题的关键步骤。 总的来说,"oozie编译资源doxia"是Apache Oozie项目构建过程中的关键组件,尤其是对于处理...

    oozie+spark2结合

    - 另外,需要在程序的Options list中添加特定的配置参数,例如:--confspark.yarn.jars,以确保Spark运行时能加载正确的库。 - 在Oozie配置中指定spark2,确保oozie.action.sharelib.for.spark属性设置为spark2。 ...

    Apache Ooize Workflow Scheduler for Hadoop

    本书深入介绍了如何编写和配置工作流,包括工作流的启动、运行、暂停和结束。此外,还涵盖了Oozie如何处理数据依赖、如何将多个协调器应用程序打包成一个bundle以及如何管理Oozie的安全特性。 工作流协调器是Oozie...

    ext-2.2.7z

    这表明ext-2.2.zip包含了Oozie运行所必需的JavaScript库,这些库可能是Ext JS框架的一部分。Ext JS是一个用于构建Web应用程序的前端JavaScript库,提供了丰富的用户界面组件和强大的数据管理功能。在Oozie中,这些...

    oozie-workflow-generator

    Apache Oozie是Hadoop生态系统中的一个工作流调度系统,用于管理和协调运行在Hadoop上的批处理作业。通过使用oozie-workflow-generator,开发者可以更加高效地构建和维护复杂的工作流定义,减少手动编写XML配置文件...

Global site tag (gtag.js) - Google Analytics