最近在搭建Hadoop环境,用的是cygwin伪分布方式,但是一切都配置好后,执行命令start-all.sh,观察一下启动情况,执行JPS命令观察可以发现,只启动了namenode和jobtracker这两个,剩下三个节点没有启动
看了一下日志文件的目录,确实只启动了两个几点。
打开这两个节点的日志后,都显示的一样的内容,就是“java.io.IOException: File xxxxxxxxx/jobtracker.info could only be replicated to 0 nodes, instead of 1”,应该是连接错误,连接不到9000端口。
引用
hadoop-xxxx-namenode-XXXX.log
中报错:
2011-11-27 20:27:06,281 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/opt/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_502181644) from 127.0.0.1:2278: error: java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /opt/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:422)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
于是就在网上一顿找文章,网上说什么的都有,大部分都说是防火墙问题,于是我就关闭了防火墙,把系统的防火墙都关掉了,重新格式化,再次执行start-all.sh命令,结果还是不行。
经过多方询问吧,网友给我一个建议,就是把“masters”和“slaves”中都配置上主机的IP,我配置的是“127.0.0.1”,这样问题就解决了,重新格式化后,5个节点顺利的启动起来了。
- 大小: 57.5 KB
- 大小: 72.7 KB
分享到:
相关推荐
6、启动时报错java.io.IOException: File jobtracker.info could only be replicated to 0 nodes, instead of 1: 解决方法:首先,检查防火墙是否关闭,是否对jobtracker.info文件进行了acl权限设置,或者是否已经...
5. mapreduce.jobtracker.system.dir 作业追踪器(JobTracker)用于存储内部信息的目录,通常是HDFS上的一个路径。 6. mapreduce.jobtracker.staging.root.dir 用于存储作业提交目录的根目录。 7. mapreduce....
可以调整 `mapred.jobtracker.map.tasks.maximum` 和 `mapred.jobtracker.reduce.tasks.maximum` 参数来控制最大 Map 和 Reduce 数量。 4. **数据倾斜**:当数据分布不均时,可能导致某些任务处理时间过长。可以通过...
MapReduceV1实现中,主要存在3个主要的分布式进程(角色):JobClient、JobTracker和TaskTracker,我们主要是以这三个角色的实际处理活动为主线,并结合源码,分析实际处理流程。上一篇我们分析了Job提交过程中...
总之,分布式JobTracker节点模型和基于Dijkstra算法的通信优化策略,是为了提高Hadoop MapReduce框架的可靠性和容错能力而提出的解决方案。通过分布式和算法优化,研究人员能够在保障系统稳定运行的同时,优化节点间...
我们基于Hadoop1.2.1源码分析MapReduceV1的处理流程。这篇文章的内容,更多地主要是描述处理/交互流程性的东西,大部分流程图都是经过我梳理后画出来的(开始我打算使用序列图来描述流程,但是发现很多流程在单个...
JobTracker Mac 菜单栏应用程序 Hadoop JobTracker 的 Mac 菜单栏应用程序界面。 它使您可以轻松访问 JobTracker 中的作业,并提供有关开始、完成和失败作业的 Growl/通知中心通知。 请参阅了解更多信息并下载二...
MapReduce 1.x是Hadoop早期版本中实现的计算框架,而YARN(Yet Another Resource Negotiator)则是在Hadoop 2.x引入的资源管理器,以解决MapReduce 1.x中的性能瓶颈和资源管理问题。 在MapReduce 1.x架构中,...
org.apache.hadoop.mapreduce.server.jobtracker org.apache.hadoop.mapreduce.server.tasktracker org.apache.hadoop.mapreduce.tools org.apache.hadoop.mapreduce.v2 org.apache.hadoop.mapreduce.v2.app....
例如,1.xx之后的版本中,配置属性名有变化,如`dfs.name.dir`变为`dfs.namenode.name.dir`,`mapred.job.tracker`变为`mapreduce.jobtracker.address`。Hadoop官方网站提供了废弃属性和替代属性的列表,供用户参考...
4. **mapred-site.xml** - MapReduce框架的配置文件,需要设置`mapreduce.jobtracker.ha.enabled`为true,并定义`mapreduce.admin.user.env`以传递必要的环境变量。 配置Hadoop HA时的常见错误包括: - **配置文件...
'jobtracker' => 'jobtracker.host.name', }); print $cluster->datanode_live_list(); 描述 此模块使用 http 连接到 Hadoop 服务器。 查询 JMX 代理 Servlet 以获取特定的 mbean。 此模块需要 Hadoop 更改 。 ...
- **调度器类**:`mapred.jobtracker.taskScheduler`用于指定使用的调度器类,对于公平调度器而言,应设置为`org.apache.hadoop.mapred.FairScheduler`。 - **默认资源池**:`mapred.fairscheduler.default-pool`...
10. **mapreduce.jobtracker.handler.count**: 默认为10,JobTracker启动的线程数,通常设置为TaskTracker节点数的4%。 11. **mapreduce.reduce.shuffle.parallelcopies**: 默认为5,定义了Reduce阶段数据并行...
111.7 Hadoop历史 151.8 小结 161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode 192.1.4 JobTracker 192.1.5 TaskTracker 192.2 为Hadoop集群...
本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式的安装配置流程。 #### 二、环境准备 首先,我们需要准备三台虚拟机,并安装CentOS-5.7操作系统。这三台虚拟机...
`mapreduce.jobtracker.address`或`yarn.resourcemanager.address`定义了ResourceManager的地址,同样可能需要设置为nameservice。 4. **yarn-site.xml**: YARN是Hadoop的资源管理系统,负责调度和监控应用程序。在...
* JobTracker未启动:检查 JobTracker 配置文件,检查 JobTracker 进程状态 * TaskTracker未启动:检查 TaskTracker 配置文件,检查 TaskTracker 进程状态 * 数据存储错误:检查数据存储路径,检查数据存储权限 * ...