hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊!
日志如下:
2010-05-19 12:47:44,991 INFO http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted
很莫名其妙的问题,据说是因为双IP的问题,LINUX下要禁止IPV6,可我觉得这个问题开发团队肯定是注意了的,问题不在这里。
经过1天甚至还多的时间折腾,我发现下面的规律:
1、namenode第一次启动,日志显示正常,但是bin/hadoop fs -put 会报错,就是常见的:
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1
这个问题也可能是防火墙的问题,前面也遇到过。
2、namenode第二次启动(或之后),日志显示就不正常了。就是上面贴出来的,正常启动又自己自动关闭。
3、经过反复测试,发现问题在这里
3.1、每台机器都有名称,job运行的时候会根据主机名获取地址,所以要做DNS解析或者在/etc/hosts里面自己写上。(这个总结题外话,也不知道是否一定准确)
3.2、就是本篇文章要讲的问题:
<property>
<name>fs.default.name</name>
<value>hdfs://home0.hadoop:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop,不要写主机名称,得是域名。经过DNS或者hosts解析的域名。
3.3另外masters里面,我现在也写成了home0.hadoop,没有测试和这个问题是否有关系。
分享到:
相关推荐
- **退出安全模式**:只有当数据块的副本数量达到最小阈值后,才会自动退出安全模式,此时文件系统才允许进行修改操作。 ### HDFS的操作与监控 #### 命令行工具 - **查看HDFS系统版本**:`hadoop version` - **查看...
自动启动 Hadoop 集群可以使用命令 start-all.sh,启动过程将自动启动 HDFS 和 YARN 模块。 五、总结 Hadoop 分布式集群初次启动是大数据处理的重要步骤,涉及到多个知识点,包括 ssh 免密登录、HDFS 格式化、...
在Hadoop分布式文件系统(HDFS)中,当系统检测到文件块(Block)丢失时,为了保护数据完整性并避免进一步的数据损失,Hadoop会自动进入安全模式(Safe Mode)。在这种模式下,HDFS只允许读取操作,禁止任何写入或修改操作...
- 自动磁盘分区后开始安装。 - 配置用户名和密码,特别是root用户的密码。 #### 三、安装JDK - **卸载默认OpenJDK**: - 查看当前系统是否已安装JDK,命令为`java -version`。 - 使用`rpm -qa | grep java`检查...
接下来,你需要配置Hadoop的配置文件,包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, 和 `mapred-site.xml`,并启动Hadoop服务以完成安装。记得根据集群的具体需求调整这些配置文件的参数。
- 保存并退出编辑器后,执行`source /etc/profile`使修改生效。 ##### 4.4 配置Hadoop核心文件 - 进入Hadoop安装目录下的`etc/hadoop`文件夹内。 - 复制`core-site.xml.template`文件为`core-site.xml`,并编辑该...
首先停止firewalld服务,然后禁止它在启动时自动启动: ``` [root@localhost ~]# sudo systemctl stop firewalld [root@localhost ~]# sudo systemctl disable firewalld rm '/etc/systemd/system/dbus-org....
4. **作业调度**:自动定时启动或停止MapReduce作业,如每天晚上运行批处理任务。 5. **资源监控**:编写脚本监控CPU、内存、磁盘空间等资源使用情况。 五、最佳实践 1. **注释**:为脚本添加清晰的注释,解释每...
- 使用`start-all`命令启动Hadoop服务。 - 成功启动后会出现多个进程。 - **Web界面监控:** - 通过`http://localhost:50070`访问NameNode和DataNode的信息。 - 可以在线查看HDFS中的文件。 #### 三、总结 ...
- 安全模式问题:如果HDFS进入安全模式,可以通过`hadoop dfsadmin -safemode leave`命令退出。 - NativeCodeLoader错误:这可能是由于缺少本地库支持,需要安装对应的库,如在Ubuntu上安装`libhadoop-native-...
用户可以通过查看NameNode的状态或等待一段时间(通常集群会在满足条件后自动退出安全模式)来处理这个问题。 总的来说,HA模式部署Hadoop涉及到的不仅是高可用性,还包括日志管理、数据安全以及系统监控等多方面。...
5. **启动Hadoop服务**:通过`start-dfs.sh`和`start-yarn.sh`命令启动HDFS和YARN服务。 #### 四、总结 本文详细介绍了在CentOS环境下安装Hadoop的具体步骤,包括创建用户、安装SSH、配置无密码登录以及安装Java...
- 启动Namenode服务后,通过`hdfs dfsadmin -safemode leave`命令退出安全模式。 - 使用`hdfs namenode -bootstrapStandby`命令将node002作为备用Namenode进行同步。 9. **格式化Zookeeper:** - 使用`zkCli.sh ...
- **知识点说明**:Cloudera提供了多种安装CDH(CDH即Cloudera Distribution Including Apache Hadoop)的方法,包括使用Cloudera Manager图形界面安装、使用脚本自动安装(Cloudera Director)以及手动安装等。...
在分布式文件系统Hadoop的HDFS(Hadoop Distributed File System)中,安全模式是一个至关重要的概念,它确保了集群在启动或恢复时的数据完整性。安全模式主要是为了防止在集群启动初期,由于数据不完整或者丢失可能...
当NameNode启动时会自动进入安全模式,此时不允许任何写操作,直到手动退出此模式。 #### 十、文件权限与安全性 HDFS支持文件和目录级别的权限控制,确保数据的安全性。用户可以设置读、写和执行权限,以控制对...
### Hadoop HDFS 集群 Balance 原理详解 #### 一、引言与目标 在Hadoop分布式文件系统(HDFS)中,数据块的均匀分布对于集群性能至关重要。随着节点的加入或退出,集群可能会出现数据分布不均的情况,导致计算任务...
8088 端口访问正常,但是看不到 datanode 节点是 Hadoop 集群搭建过程中常见的问题,解决方法是检查 8080 端口是否打开,如果没有打开,需要手动启动 yarn。如果 8080 端口被其他进程占用,需要 kill 掉占用该端口的...
- **退出安全模式**:在BlockReport结束后,Namenode会判断DataNode启动数量和丢失的块占比是否满足退出安全模式的条件。退出安全模式后,Namenode会进行多余块的删除和缺失块的复制。 #### 四、Zookeeper服务应用...