`
xiaobian
  • 浏览: 589061 次
  • 来自: 北京
社区版块
存档分类
最新评论

HDFS 抛出错误 (java.io.IOException: config())

阅读更多

 

DEBUG [main] Configuration.<init>(211) | java.io.IOException: config()

at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211)

at com.netqin.hdfs.MyHdfs.isExists(MyHdfs.java:20)

at com.netqin.hdfs.MyHdfs.main(MyHdfs.java:41)

 

在客户端使用API访问HDFS的时候保了一个这样的错误。

 

通过定位代码:

 

 

  /** A new configuration where the behavior of reading from the default 

   * resources can be turned off.

   * 

   * If the parameter {@code loadDefaults} is false, the new instance

   * will not load resources from the default files. 

   * @param loadDefaults specifies whether to load from the default files

   */

  public Configuration(boolean loadDefaults) {

    this.loadDefaults = loadDefaults;

    if (LOG.isDebugEnabled()) {

      LOG.debug(StringUtils.stringifyException(new IOException("config()")));

    }

    synchronized(Configuration.class) {

      REGISTRY.put(this, null);

    }

  }

 

原来是标红的这一行抛出的错误,原因就是HDFS不允许在log4j中使用DEBUG输出日志。如果有则抛出了错误,不过这个错误太不明显了,让人搞得莫名其妙。

 

 

解决办法:

把Log4j文件

# 本文件为日志显示控制文件

log4j.rootCategory=DEBUG,stdout,file

 

改为

log4j.rootCategory=ERROR,stdout,file

 

 

 

分享到:
评论
1 楼 linbin19851010 2011-07-15  
兄弟,没什么好说的了.太感谢了.这解答真是太及时了啊.完成解决了我的问题!

相关推荐

    hbase 启动regionserver日志报错: Wrong FS: hdfs:// .regioninfo, expected: file:///

    NULL 博文链接:https://bnmnba.iteye.com/blog/2322332

    HDFS上传文件报错org.apache.hadoop.fs.ChecksumException: Checksum error: file:/hyk/data/hyk.txt

    当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/...

    4-hdfs-javaapi配置.txt

    4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉; 查看DataNode是否启动;...

    hadoop常见错误以及处理方法详解

    1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...

    eclipse里运行hadoop程序出现的错误总结

    java.io.IOException: (null) entry in command string: null chmod 0644 解决方法: hadoop读取完毕,在往本地保存文件时出现的错误 在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll...

    基于Hadoop的JAVA简易网盘项目源码+数据库.zip

    基于Hadoop的JAVA简易网盘项目源码+数据库.zip基于java的简易网盘项目 hdfs为 192.168.31.10:8020/Mycould 采用mysql本地 panuser 基于Hadoop的JAVA简易网盘项目源码+数据库.zip基于java的简易网盘项目 hdfs为 192....

    SparkSQL通过Hive创建DataFrame

    SparkSQL通过Hive创建DataFrame问题分析 问题一 Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default'; 分析:确实没有临时表View,...

    hadoop-hdfs-2.9.1-API文档-中文版.zip

    赠送jar包:hadoop-hdfs-2.9.1.jar 赠送原API文档:hadoop-hdfs-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应...

    大数据hadoop winutils.exe

    而针对Windows用户,开发和运行Hadoop应用时会遇到一个常见问题:“Did not find winutils.exe: java.io.FileNotFoundException”。这个错误是由于Hadoop在Windows环境下找不到`winutils.exe`文件所引起的。`...

    HDFS读写数据流程分析.ppt

    HDFS读写数据流程分析 HDFS(Hadoop Distributed File System)是一种分布式文件系统,用于存储和管理大规模数据。在HDFS中,数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里,我们将详细分析HDFS...

    hadoop-hdfs-2.7.3-API文档-中文版.zip

    标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心...

    Hadoop实战(虚拟多台电脑)

    每台机器都要安装java环境,我们的路径统一为“/opt/modules/jdk1.6“,并添加到系统环境变量sudo vi /etc/profile JAVA_HOME=/opt/modules/jdk1.6 PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin CLASSPATH=$JAVA_

    hadoop-hdfs-test-0.21.0.jar

    hadoop-hdfs-test-0.21.0.jar

    利用javaAPI访问HDFS的文件

    ### 使用Java API访问HDFS文件的关键知识点 #### 一、HDFS概述 Hadoop Distributed File System(HDFS)是Apache Hadoop项目的核心组件之一,它为海量数据提供了高吞吐量的数据访问,非常适合大规模数据集的应用...

    PyPI 官网下载 | dbnd-hdfs-0.34.0.tar.gz

    《PyPI上的dbnd-hdfs-0.34.0:大数据处理的高效工具》 在信息技术领域,尤其是在大数据分析中,高效的文件管理和处理是关键的一环。PyPI(Python Package Index)作为Python社区的重要资源库,提供了丰富的开源工具...

    第4章 HDFS 2 4.1. 简介 2 4.1.1. 概述 2 4.1.2. 组成架构 4 4.1.3. HDFS文件块大小

    4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 4.3.4. 新建maven项目 19 4.3.5. 导入项目所需要的依赖 22 4.3.6. 编写Java代码——向...

    HDFS Java api 简单程序.zip

    HDFS Java api 简单程序.zip

    hadoop-hdfs-client-2.9.1-API文档-中文版.zip

    赠送jar包:hadoop-hdfs-client-2.9.1.jar 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-...

    Hadoop HDFS文件系统技术概述.pdf

    Hadoop HDFS文件系统技术概述 概述:HDFS(Hadoop Distributed File System)是Hadoop生态系统中的核心组件,作为分布式文件系统,HDFS提供了高容错、可扩展、可靠的存储解决方案,广泛应用于大数据处理和分析领域。...

Global site tag (gtag.js) - Google Analytics