Failed to operate on mapred.system.dir (hdfs://namenode/mapred/system) because of permissions.
2011-09-06 09:19:25,415 WARN org.apache.hadoop.mapred.JobTracker: This directory should be owned by the user 'mapred'
2011-09-06 09:19:25,416 WARN org.apache.hadoop.mapred.JobTracker: Bailing out ...
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException:
Permission denied: user=mapred, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
When I start Hadoop JobTracker, I got these exceptions. It shows the permission is not right.
After checking mapred-site.xml, i've set mapred.system.dir=/mapred/system. These setting is not local directory, but hdfs directory. So I need use following commands to create it:
$ sudo -u hdfs hadoop fs -mkdir /mapred/system
$ sudo -u hdfs hadoop fs -chown mapred:hadoop /mapred/system
Then start JobTracker OK!
分享到：
相关推荐
Hadoop JobTracker 的 Mac 菜单栏应用程序界面。 它使您可以轻松访问 JobTracker 中的作业，并提供有关开始、完成和失败作业的 Growl/通知中心通知。 请参阅了解更多信息并下载二进制文件。 如果您有任何问题或...
Apache Hadoop is a widely used distributed data platform. It enables large datasets to be efficiently processed instead of using one large computer to store and process the data. This book will get ...
标题 "hadoop-start" 暗示我们正在讨论关于启动Hadoop集群的过程，而标签 "mapreduce01" 提及了Hadoop的核心组件MapReduce。Hadoop是分布式计算框架，广泛用于大数据处理，MapReduce是它的一个核心部分，用于执行大...
#### 三、Hadoop 2 Quick-Start Guide 内容概览 《Hadoop 2 快速入门指南》是由资深讲师Douglas Eadline撰写的一本实用指南，旨在帮助读者快速掌握Hadoop 2.x的基础知识和技术要点。本书覆盖了以下关键内容： - **...
- 在左侧导航栏中找到“Hadoop Map/Reduce”，然后点击“JobTracker URI”添加你的Hadoop JobTracker或ResourceManager地址。 - 对于本地开发，通常会指向"localhost:8088"（YARN的Resource Manager UI端口）。 3...
在windows下搭建hadoop环境，一般需要借助虚拟机或者cygwin来模拟一个linux的启动环境。但这样搭建一个环境太麻烦了，其实可以直接像linux上一样来配置变量，然后启动，他的启动命令就是上面jar包中的bin
【标题】"Hadoop2的HA配置一键运行脚本startall"主要涉及到的是在Hadoop分布式文件系统（HDFS）中实现高可用性（High Availability, HA）的配置方法。Hadoop HA允许NameNode（Hadoop的核心组件之一，负责管理文件...
3. YARN（Yet Another Resource Negotiator）：作为资源管理系统，负责集群中的任务调度和资源分配，取代了早期版本Hadoop中的JobTracker，提高了系统的效率和灵活性。 二、Hadoop安装流程 1. 环境准备：确保系统...
6. **启动Hadoop**：执行`start-dfs.sh`和`start-mapred.sh`来启动HDFS和MapReduce服务。 #### Hadoop2.x安装 Hadoop2.x的安装过程与1.x相似，但有几个关键的区别： 1. **引入YARN**：Hadoop2.x引入了YARN（Yet ...
### Hadoop 2快速入门指南知识点详解 #### 一、背景与概念 1. **Apache Hadoop定义**：Hadoop是一种开源软件框架，用于分布式存储和处理大型数据集。它能够在集群环境中运行，并且能够自动处理节点故障问题，提供...
Addison-wesley Data & Analytics Series Get Started Fast with Apache Hadoop 2, YARN, and Today’s Hadoop Ecosystem
这包括了对Hadoop中NameNode单点瓶颈难题的应对，以及实现Hadoop JobTracker的高可用性（HA）。 3. 编程技巧：通过编程技巧的提升，例如选择合适的InputFormat来处理数据，可以有效提升Hive和MapReduce作业的效率。...
解压后，用户需要根据自己的系统环境进行适当的配置，包括设置Hadoop的环境变量（如HADOOP_HOME）、配置HDFS的namenode和datanode、以及MapReduce的jobtracker和tasktracker。 在Hadoop的配置中，需要修改`core-...
1. **JobTracker与TaskTracker的角色**：在早期的Hadoop版本中，JobTracker负责任务调度和资源管理，而TaskTracker执行实际的任务。但描述中的错误指出TaskTracker执行JobTracker分配的任务，实际上应该是相反的。 ...
然后，使用`start-all.sh`脚本启动所有Hadoop守护进程。成功启动后，你应该能看到NameNode、DataNode、Secondary NameNode、JobTracker和TaskTracker的启动日志。 **注意事项** - 在实际生产环境中，使用`...
5. 启动Hadoop服务，如`start-dfs.sh`和`start-yarn.sh`。 了解和熟练掌握Hadoop Common以及`winutils.exe`的使用，对于在Windows环境中开发、测试和部署Hadoop应用至关重要。同时，理解Hadoop的架构和原理，以及...
运行`start-dfs.cmd`启动HDFS，然后运行`start-yarn.cmd`启动YARN。通过`jps`命令检查Hadoop进程是否正常运行。 10. **测试Hadoop**： 使用`hadoop fs -ls /`命令检查HDFS是否工作正常。如果一切顺利，你应该能...
Hadoop 2.6.0引入了YARN（Yet Another Resource Negotiator），它作为资源管理器，负责集群资源的分配和调度，将原本Hadoop 1.x中的JobTracker职责分离为ResourceManager和ApplicationMaster。这样，不同的计算框架...
然后，可以通过`start-dfs.sh`和`start-yarn.sh`命令启动HDFS和YARN（Hadoop的资源管理系统）。 7. **开发与调试**：对于开发和调试Hadoop应用，使用`hadoop jar`命令可以提交MapReduce作业到集群上执行。例如，`...
- **JobTracker与TaskTracker**：在旧版Hadoop中，JobTracker负责任务调度和资源管理，TaskTracker执行具体任务。新版Hadoop（YARN）中，JobTracker的功能被拆分为Resource Manager和Application Master。 - **...