DEBUG [main] Configuration.<init>(211) | java.io.IOException: config()
at org.apache.hadoop.conf.Configuration.<init>(Configuration.java:211)
at com.netqin.hdfs.MyHdfs.isExists(MyHdfs.java:20)
at com.netqin.hdfs.MyHdfs.main(MyHdfs.java:41)
在客户端使用API访问HDFS的时候保了一个这样的错误。
通过定位代码:
/** A new configuration where the behavior of reading from the default
* resources can be turned off.
*
* If the parameter {@code loadDefaults} is false, the new instance
* will not load resources from the default files.
* @param loadDefaults specifies whether to load from the default files
*/
public Configuration(boolean loadDefaults) {
this.loadDefaults = loadDefaults;
if (LOG.isDebugEnabled()) {
LOG.debug(StringUtils.stringifyException(new IOException("config()")));
}
synchronized(Configuration.class) {
REGISTRY.put(this, null);
}
}
原来是标红的这一行抛出的错误,原因就是HDFS不允许在log4j中使用DEBUG输出日志。如果有则抛出了错误,不过这个错误太不明显了,让人搞得莫名其妙。
解决办法:
把Log4j文件
# 本文件为日志显示控制文件
log4j.rootCategory=DEBUG,stdout,file
改为
log4j.rootCategory=ERROR,stdout,file
分享到:
相关推荐
NULL 博文链接:https://bnmnba.iteye.com/blog/2322332
当从本地上传文件到HDFS中时报错 fs.FSInputChecker: Found checksum error: b[0, 69]=6d6f77656968616861686168616868616686168616861686861680a org.apache.hadoop.fs.ChecksumException: Checksum error: file:/...
4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt4-hdfs-javaapi配置.txt
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595 防火墙记得关掉; 查看DataNode是否启动;...
1、hadoop-root-datanode-master.log 中有如下错误:ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因:每次namenode format...
java.io.IOException: (null) entry in command string: null chmod 0644 解决方法: hadoop读取完毕,在往本地保存文件时出现的错误 在win10中配置hadoop开发环境时没有在c:\windows\system32目录中拷贝hadoop.dll...
基于Hadoop的JAVA简易网盘项目源码+数据库.zip基于java的简易网盘项目 hdfs为 192.168.31.10:8020/Mycould 采用mysql本地 panuser 基于Hadoop的JAVA简易网盘项目源码+数据库.zip基于java的简易网盘项目 hdfs为 192....
SparkSQL通过Hive创建DataFrame问题分析 问题一 Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'stu' not found in database 'default'; 分析:确实没有临时表View,...
赠送jar包:hadoop-hdfs-2.9.1.jar 赠送原API文档:hadoop-hdfs-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应...
而针对Windows用户,开发和运行Hadoop应用时会遇到一个常见问题:“Did not find winutils.exe: java.io.FileNotFoundException”。这个错误是由于Hadoop在Windows环境下找不到`winutils.exe`文件所引起的。`...
HDFS读写数据流程分析 HDFS(Hadoop Distributed File System)是一种分布式文件系统,用于存储和管理大规模数据。在HDFS中,数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里,我们将详细分析HDFS...
标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心...
每台机器都要安装java环境,我们的路径统一为“/opt/modules/jdk1.6“,并添加到系统环境变量sudo vi /etc/profile JAVA_HOME=/opt/modules/jdk1.6 PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin CLASSPATH=$JAVA_
hadoop-hdfs-test-0.21.0.jar
### 使用Java API访问HDFS文件的关键知识点 #### 一、HDFS概述 Hadoop Distributed File System(HDFS)是Apache Hadoop项目的核心组件之一,它为海量数据提供了高吞吐量的数据访问,非常适合大规模数据集的应用...
《PyPI上的dbnd-hdfs-0.34.0:大数据处理的高效工具》 在信息技术领域,尤其是在大数据分析中,高效的文件管理和处理是关键的一环。PyPI(Python Package Index)作为Python社区的重要资源库,提供了丰富的开源工具...
4.3. 通过Java实现HDFS操作及访问 14 4.3.1. IntelliJ IDEA 16 4.3.2. maven软件安装与配置 17 4.3.3. IDEA关联maven插件 19 4.3.4. 新建maven项目 19 4.3.5. 导入项目所需要的依赖 22 4.3.6. 编写Java代码——向...
HDFS Java api 简单程序.zip
赠送jar包:hadoop-hdfs-client-2.9.1.jar 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop HDFS文件系统技术概述 概述:HDFS(Hadoop Distributed File System)是Hadoop生态系统中的核心组件,作为分布式文件系统,HDFS提供了高容错、可扩展、可靠的存储解决方案,广泛应用于大数据处理和分析领域。...