-
Hadoop RemoteException错误, Superuser privilege is required5
环境信息:
Master:172.17.1.101
Slave1:172.17.1.102
Slave1:172.17.1.103
Exception in thread "main" org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Access denied for user hadoop. Superuser privilege is required
at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkSuperuserPrivilege(FSPermissionChecker.java:85)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkSuperuserPrivilege(FSNamesystem.java:5742)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.datanodeReport(FSNamesystem.java:4638)
at org.apache.hadoop.hdfs.server.namenode.NameNode.getDatanodeReport(NameNode.java:954)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
hadoop fs -put /opt/test.txt /opt/data/ 这个可以顺利执行
防火墙关了;也重新Format试过了,都不行
附件里含有日志和错误信息
问题补充:[hadoop@Master bin]$ ./stop-all.sh
Warning: $HADOOP_HOME is deprecated.
stopping jobtracker
172.17.1.102: stopping tasktracker
172.17.1.103: stopping tasktracker
no namenode to stop
172.17.1.103: stopping datanode
172.17.1.102: stopping datanode
172.17.1.101: stopping secondarynamenode
[hadoop@Master bin]$ exit
logout
[root@Master hadoop-1.2.1]# ps faux | grep hadoop
root 31384 0.0 0.2 101048 1324 pts/3 S 07:28 0:00 | \_ su - hadoop
hadoop 31385 0.0 0.2 66056 1536 pts/3 S+ 07:28 0:00 | \_ -bash
root 1233 0.0 0.1 61144 716 pts/1 S+ 08:03 0:00 \_ grep hadoop
root 23517 0.3 13.3 2577196 79740 ? Sl 03:57 0:54 /usr/java/jdk1.8.0_05/bin/java -Dproc_namenode -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dhadoop.log.dir=/opt/hadoop-1.2.1/libexec/../logs -Dhadoop.log.file=hadoop-root-namenode-Master.log -Dhadoop.home.dir=/opt/hadoop-1.2.1/libexec/.. -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,DRFA -Dhadoop.security.logger=INFO,DRFAS -Djava.library.path=/opt/hadoop-1.2.1/libexec/../lib/native/Linux-amd64-64 -Dhadoop.policy.file=hadoop-policy.xml -classpath /opt/hadoop-1.2.1/libexec/../conf:/usr/java/jdk1.8.0_05/lib/tools.jar:/opt/hadoop-1.2.1/libexec/..:/opt/hadoop-1.2.1/libexec/../hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/asm-3.2.jar:/opt/hadoop-1.2.1/libexec/../lib/aspectjrt-1.6.11.jar:/opt/hadoop-1.2.1/libexec/../lib/aspectjtools-1.6.11.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-beanutils-1.7.0.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-beanutils-core-1.8.0.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-cli-1.2.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-codec-1.4.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-collections-3.2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-configuration-1.6.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-daemon-1.0.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-digester-1.8.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-el-1.0.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-httpclient-3.0.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-io-2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-lang-2.4.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-logging-1.1.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-logging-api-1.0.4.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-math-2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/commons-net-3.1.jar:/opt/hadoop-1.2.1/libexec/../lib/core-3.1.1.jar:/opt/hadoop-1.2.1/libexec/../lib/hadoop-capacity-scheduler-1.2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/hadoop-fairscheduler-1.2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/hadoop-thriftfs-1.2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/hsqldb-1.8.0.10.jar:/opt/hadoop-1.2.1/libexec/../lib/jackson-core-asl-1.8.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jackson-mapper-asl-1.8.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jasper-compiler-5.5.12.jar:/opt/hadoop-1.2.1/libexec/../lib/jasper-runtime-5.5.12.jar:/opt/hadoop-1.2.1/libexec/../lib/jdeb-0.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jersey-core-1.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jersey-json-1.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jersey-server-1.8.jar:/opt/hadoop-1.2.1/libexec/../lib/jets3t-0.6.1.jar:/opt/hadoop-1.2.1/libexec/../lib/jetty-6.1.26.jar:/opt/hadoop-1.2.1/libexec/../lib/jetty-util-6.1.26.jar:/opt/hadoop-1.2.1/libexec/../lib/jsch-0.1.42.jar:/opt/hadoop-1.2.1/libexec/../lib/junit-4.5.jar:/opt/hadoop-1.2.1/libexec/../lib/kfs-0.2.2.jar:/opt/hadoop-1.2.1/libexec/../lib/log4j-1.2.15.jar:/opt/hadoop-1.2.1/libexec/../lib/mockito-all-1.8.5.jar:/opt/hadoop-1.2.1/libexec/../lib/oro-2.0.8.jar:/opt/hadoop-1.2.1/libexec/../lib/servlet-api-2.5-20081211.jar:/opt/hadoop-1.2.1/libexec/../lib/slf4j-api-1.4.3.jar:/opt/hadoop-1.2.1/libexec/../lib/slf4j-log4j12-1.4.3.jar:/opt/hadoop-1.2.1/libexec/../lib/xmlenc-0.52.jar:/opt/hadoop-1.2.1/libexec/../lib/jsp-2.1/jsp-2.1.jar:/opt/hadoop-1.2.1/libexec/../lib/jsp-2.1/jsp-api-2.1.jar org.apache.hadoop.hdfs.server.namenode.NameNode
2014年8月09日 13:50
1个答案 按时间排序 按投票排序
-
采纳的答案
我看你的hadoop-hadoop-namenode-master.log中日志文件中有错误:
2014-08-08 21:20:24,154 INFO org.apache.hadoop.hdfs.server.common.Storage: Cannot lock storage /opt/hadoop-1.2.1/tmp/dfs/name. The directory is already locked. 2014-08-08 21:20:24,157 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: Cannot lock storage /opt/hadoop-1.2.1/tmp/dfs/name. The directory is already locked. at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:599) at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.analyzeStorage(Storage.java:452) at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:299) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)
楼主使用 ./hadoop namenode -format 命令是格式化命名空间,一定是在未启动 hadoop 服务的时候才能执行。出现这个错误提示有可能是因为 hadoop 的服务是子运行状态。是因为没有关闭hadoop就开始format,sh stop-all.sh 后 再format试试2014年8月09日 22:58
相关推荐
hadoop入门(4)用超级用户权限安装软件 本文主要讲解了如何在 Linux 中使用超级用户权限安装软件,包括 Git、Tomcat 和 Mysql 等,以及如何配置防火墙和安装单机版 Hadoop。 第一部分:基本命令 在 Linux 中,...
hadoop配置运行错误解决方法 hadoop是一个大数据处理的基础架构,但是在实际使用过程中经常会碰到各种各样的问题,以下是解决hadoop配置运行错误的一些经验总结: 一、hadoop集群在namenode格式化后重启集群会出现...
否则,你可能会遇到启动Hadoop服务时的错误,例如“找不到Winutils.exe”或“无法加载hadoop.dll”。 在使用Hadoop进行大数据分析时,理解这些基础组件的工作原理和如何正确配置它们对于成功运行Hadoop任务至关重要...
Apache Hadoop 2.2.0 is the GA release of Apache Hadoop 2.x. Users are encouraged to immediately move to 2.2.0 since this release is significantly more stable and is guaranteed to remain compatible in...
在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题或版本不兼容等。解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及...
安装或使用Hadoop的dll文件时,可能会遇到一些常见问题,如版本不兼容、路径配置错误或缺失依赖。解决这些问题通常需要检查以下几点: 1. 确保dll文件与Hadoop版本兼容。 2. 检查Java环境是否正确配置,包括JDK版本...
This book is also meant for Hadoop professionals who want to find solutions to the different challenges they come across in their Hadoop projects. In Detail This book jumps into the world of Hadoop ...
标题中的"hadoop/bin/hadoop.dll"指出这是一款与Hadoop框架相关的动态链接库(DLL)文件,它位于Hadoop安装目录的"bin"子目录下。在Windows操作系统中,DLL文件是程序运行所必需的组件,它们包含了可执行文件在运行...
Hadoop-2.7.1是Hadoop的一个稳定版本,引入了许多改进和优化,包括性能提升、错误修复以及对新特性的支持。对于Windows用户来说,能够在这个版本中顺利运行Hadoop,意味着他们可以充分利用Hadoop的大数据处理能力,...
2. 下载的版本应与你的Hadoop版本兼容,不兼容的版本可能导致各种问题,如运行错误、功能缺失等。 3. 安装过程中,确保正确配置Hadoop的环境变量,包括`HADOOP_HOME`、`HADOOP_COMMON_HOME`、`HADOOP_HDFS_HOME`等,...
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
1,SLF4J: Class path contains multiple SLF4J bindings. 2,localhost: java.net.BindException: Address already in use 3,ERROR: org.apache.hadoop....这是我亲自遇到过的错误及解决过程,希望对大家能有帮助!
【标题】Hadoop MapReduce 实现 WordCount MapReduce 是 Apache Hadoop 的核心组件之一,它为大数据处理提供了一个分布式计算框架。WordCount 是 MapReduce 框架中经典的入门示例,它统计文本文件中每个单词出现的...
<value>/home/hadoop/hadoop-datastore/hadoop-${user.name} <name>fs.default.name <value>hdfs://localhost:9000 ``` 这篇文章详细介绍了在 Ubuntu 上安装 Hadoop 的步骤,包括安装前的准备、Hadoop 的...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
在实际的开发过程中,为了提高效率并减少错误,Hadoop提供了Eclipse插件,即本文讨论的`hadoop-eclipse-plugin-2.6.0.jar`。这个插件是针对Hadoop 2.6.0版本设计的,主要目标是集成Eclipse IDE,使得开发者可以在...
在Hadoop生态系统中,Hadoop 2.7.7是一个重要的版本,它为大数据处理提供了稳定性和性能优化。Hadoop通常被用作Linux环境下的分布式计算框架,但有时开发者或学习者在Windows环境下也需要进行Hadoop相关的开发和测试...
如果没有这个文件,Hadoop的相关进程可能无法正常启动或运行,导致各种错误。 其次,`winutils.exe`是Hadoop在Windows上的实用工具,它提供了与Hadoop生态系统交互的命令行工具,比如设置HDFS的权限、管理Hadoop...
此外,2.8.0版本增加了更多特性,例如优化了与Hadoop集群的交互,增强了对HDFS的可视化管理,以及更好的错误提示和调试功能。这使得开发者能够在更复杂的分布式环境下进行更为灵活和高效的开发工作。 两个版本之间...