`

hadoop-hdfs启动又自动退出的问题

阅读更多

hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊!

日志如下:
2010-05-19 12:47:44,991 INFO  http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO  util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO  util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO  util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO  util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO  http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO  util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO  util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO  http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO  util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO  util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO  util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO  util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN  namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted

很莫名其妙的问题,据说是因为双IP的问题,LINUX下要禁止IPV6,可我觉得这个问题开发团队肯定是注意了的,问题不在这里。

经过1天甚至还多的时间折腾,我发现下面的规律:

1、namenode第一次启动,日志显示正常,但是bin/hadoop fs -put 会报错,就是常见的:
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1

这个问题也可能是防火墙的问题,前面也遇到过。

2、namenode第二次启动(或之后),日志显示就不正常了。就是上面贴出来的,正常启动又自己自动关闭。

3、经过反复测试,发现问题在这里

3.1、每台机器都有名称,job运行的时候会根据主机名获取地址,所以要做DNS解析或者在/etc/hosts里面自己写上。(这个总结题外话,也不知道是否一定准确)

3.2、就是本篇文章要讲的问题:
<property>
        <name>fs.default.name</name>
        <value>hdfs://home0.hadoop:9000</value>
</property>

<property>
        <name>mapred.job.tracker</name>
        <value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop,不要写主机名称,得是域名。经过DNS或者hosts解析的域名。

3.3另外masters里面,我现在也写成了home0.hadoop,没有测试和这个问题是否有关系。

0
1
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    Hadoop存储系统HDFS的文件是分块存储.docx

    - **退出安全模式**:只有当数据块的副本数量达到最小阈值后,才会自动退出安全模式,此时文件系统才允许进行修改操作。 ### HDFS的操作与监控 #### 命令行工具 - **查看HDFS系统版本**:`hadoop version` - **查看...

    大数据之hadoop分布式集群初次启动.pdf

    自动启动 Hadoop 集群可以使用命令 start-all.sh,启动过程将自动启动 HDFS 和 YARN 模块。 五、总结 Hadoop 分布式集群初次启动是大数据处理的重要步骤,涉及到多个知识点,包括 ssh 免密登录、HDFS 格式化、...

    HDFS block丢失,导致hadoop进入安全模式的解决方案

    在Hadoop分布式文件系统(HDFS)中,当系统检测到文件块(Block)丢失时,为了保护数据完整性并避免进一步的数据损失,Hadoop会自动进入安全模式(Safe Mode)。在这种模式下,HDFS只允许读取操作,禁止任何写入或修改操作...

    在VWmare的CentO S系统中配置hadoop

    - 自动磁盘分区后开始安装。 - 配置用户名和密码,特别是root用户的密码。 #### 三、安装JDK - **卸载默认OpenJDK**: - 查看当前系统是否已安装JDK,命令为`java -version`。 - 使用`rpm -qa | grep java`检查...

    hadoop分布式安装java与hadoop.docx

    接下来,你需要配置Hadoop的配置文件,包括`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`, 和 `mapred-site.xml`,并启动Hadoop服务以完成安装。记得根据集群的具体需求调整这些配置文件的参数。

    Hadoop平台搭建CentOS7的安装步骤

    - 保存并退出编辑器后,执行`source /etc/profile`使修改生效。 ##### 4.4 配置Hadoop核心文件 - 进入Hadoop安装目录下的`etc/hadoop`文件夹内。 - 复制`core-site.xml.template`文件为`core-site.xml`,并编辑该...

    centos7安装CDH5.X.X

    首先停止firewalld服务,然后禁止它在启动时自动启动: ``` [root@localhost ~]# sudo systemctl stop firewalld [root@localhost ~]# sudo systemctl disable firewalld rm '/etc/systemd/system/dbus-org....

    hadoop 部分 shell 脚本

    4. **作业调度**:自动定时启动或停止MapReduce作业,如每天晚上运行批处理任务。 5. **资源监控**:编写脚本监控CPU、内存、磁盘空间等资源使用情况。 五、最佳实践 1. **注释**:为脚本添加清晰的注释,解释每...

    服务计算作业4-31

    - 使用`start-all`命令启动Hadoop服务。 - 成功启动后会出现多个进程。 - **Web界面监控:** - 通过`http://localhost:50070`访问NameNode和DataNode的信息。 - 可以在线查看HDFS中的文件。 #### 三、总结 ...

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc

    - 安全模式问题:如果HDFS进入安全模式,可以通过`hadoop dfsadmin -safemode leave`命令退出。 - NativeCodeLoader错误:这可能是由于缺少本地库支持,需要安装对应的库,如在Ubuntu上安装`libhadoop-native-...

    HA模式部署hadoop1

    用户可以通过查看NameNode的状态或等待一段时间(通常集群会在满足条件后自动退出安全模式)来处理这个问题。 总的来说,HA模式部署Hadoop涉及到的不仅是高可用性,还包括日志管理、数据安全以及系统监控等多方面。...

    centos安装hadoop超级详细

    5. **启动Hadoop服务**:通过`start-dfs.sh`和`start-yarn.sh`命令启动HDFS和YARN服务。 #### 四、总结 本文详细介绍了在CentOS环境下安装Hadoop的具体步骤,包括创建用户、安装SSH、配置无密码登录以及安装Java...

    Hadoop2.x HA环境搭建

    - 启动Namenode服务后,通过`hdfs dfsadmin -safemode leave`命令退出安全模式。 - 使用`hdfs namenode -bootstrapStandby`命令将node002作为备用Namenode进行同步。 9. **格式化Zookeeper:** - 使用`zkCli.sh ...

    Hadoop面试100题.pdf

    - **知识点说明**:Cloudera提供了多种安装CDH(CDH即Cloudera Distribution Including Apache Hadoop)的方法,包括使用Cloudera Manager图形界面安装、使用脚本自动安装(Cloudera Director)以及手动安装等。...

    【HDFS篇09】集群安全模式1

    在分布式文件系统Hadoop的HDFS(Hadoop Distributed File System)中,安全模式是一个至关重要的概念,它确保了集群在启动或恢复时的数据完整性。安全模式主要是为了防止在集群启动初期,由于数据不完整或者丢失可能...

    hdfs user guide

    当NameNode启动时会自动进入安全模式,此时不允许任何写操作,直到手动退出此模式。 #### 十、文件权限与安全性 HDFS支持文件和目录级别的权限控制,确保数据的安全性。用户可以设置读、写和执行权限,以控制对...

    RebalanceDesign6

    ### Hadoop HDFS 集群 Balance 原理详解 #### 一、引言与目标 在Hadoop分布式文件系统(HDFS)中,数据块的均匀分布对于集群性能至关重要。随着节点的加入或退出,集群可能会出现数据分布不均的情况,导致计算任务...

    hadoopq集群搭建.docx

    8088 端口访问正常,但是看不到 datanode 节点是 Hadoop 集群搭建过程中常见的问题,解决方法是检查 8080 端口是否打开,如果没有打开,需要手动启动 yarn。如果 8080 端口被其他进程占用,需要 kill 掉占用该端口的...

    hadoop笔记

    - **退出安全模式**:在BlockReport结束后,Namenode会判断DataNode启动数量和丢失的块占比是否满足退出安全模式的条件。退出安全模式后,Namenode会进行多余块的删除和缺失块的复制。 #### 四、Zookeeper服务应用...

Global site tag (gtag.js) - Google Analytics