`

CentOS下配置Hadoop集群:java.net.NoRouteToHostException: No route to host问题的解决

 
阅读更多

首先确定,Namenode的9000端口是否在监听:

  1. [www.linuxidc.com @master ~]$ netstat -nap | grep 9000  
  2. (Not all processes could be identified, non-owned process info
  1.  will not be shown, you would have to be root to see it all.)  
  2. tcp        0      0 192.168.0.180:9000          0.0.0.0:*                   LISTEN      5374/java   

可见,Namenode启动没有问题。

 

在网上查了一下,有人说( http://www.linuxidc.com/Linux/2012-05/59748.htm )是,hostname和hosts中配置的虚拟域名不一致会导致出现No route to host异常,经过验证:

master结点:

  1. [www.linuxidc.com @master ~]$ cat /etc/hosts  
  2. # Do not remove the following line, or various programs  
  3. # that require network functionality will fail.  
  4. 127.0.0.1               localhost localhost  
  5. #::1            localhost6.localdomain6 localhost6  
  6.   
  7. 192.168.0.180   master master  
  8. 192.168.0.181   slave-01        slave-01  
  9. 192.168.0.182   slave-02        slave-02  
  10. 192.168.0.183   slave-03        slave-03  
  11. [www.linuxidc.com @master ~]$ cat /etc/sysconfig/network  
  12. NETWORKING=yes  
  13. NETWORKING_IPV6=no  
  14. HOSTNAME=master  

slave-01结点:

  1. [shirdrn@slave-01 ~]$ cat /etc/sysconfig/network  
  2. NETWORKING=yes  
  3. NETWORKING_IPV6=no  
  4. HOSTNAME=slave-01  
  5. [shirdrn@slave-01 ~]$ cat /etc/hosts  
  6. # Do not remove the following line, or various programs  
  7. # that require network functionality will fail.  
  8. 127.0.0.1               localhost localhost  
  9. #::1            localhost6.localdomain6 localhost6  
  10.   
  11. 192.168.0.180   master  master  
  12. 192.168.0.181   slave-01        slave-01  
  13. 192.168.0.182   slave-02        slave-02  
  14. 192.168.0.183   slave-03        slave-03  

另外两个从结点也没有问题,此处略去。

 

经过对比验证,都没有问题。

其实,我已经想到可能是防火墙的问题,经过查证,终于找到了有人曾经遇到过该问题,可见文章http://www.linuxidc.com/Linux/2012-05/59749.htm ,需要关闭防火墙,在集群中每台机器上都执行如下命令:

  1. [www.linuxidc.com @master ~]$ su root  
  2. Password:   
  3. [root@master shirdrn]# service iptables stop  
  4. Flushing firewall rules: [  OK  ]  
  5. Setting chains to policy ACCEPT: filter [  OK  ]  
  6. Unloading iptables modules: [  OK  ]  

需要切换到root用户才能执行关闭。

 

然后,再启动Hadoop集群,就没有问题了。

分享到:
评论

相关推荐

    hadoop安装包centos6.5-hadoop-2.6.4.tar.gz

    Hadoop是一款开源的分布式...在CentOS 6.5上安装Hadoop 2.6.4需要准备Java环境,下载并解压安装包,配置相关参数,启动服务,并通过命令行测试其功能。理解Hadoop的核心组件及其工作原理,有助于更好地利用这一工具。

    虚拟机VMware下centos配置hadoop集群

    虚拟机VMware下centos配置hadoop集群 在本文中,我们将详细介绍如何在虚拟机VMware下使用三个CentOS系统来配置Hadoop集群,包括两个slave节点和一个master节点。 一、JDK安装 在开始配置Hadoop集群之前,我们...

    centos安装配置hadoop超详细过程.docx

    ### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台,...通过以上步骤,您可以在CentOS环境下成功安装和配置Hadoop集群,实现大数据的分布式存储和处理。

    hadoop-3.2.2.tar.gz

    描述 "64位centos7编译hadoop3.2.2" 提示我们这个压缩包是在64位的CentOS 7操作系统环境下编译的。CentOS 7是一个稳定且广泛使用的Linux发行版,常被用作服务器操作系统,特别是对于运行开源软件如Hadoop的情况。...

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    2. 伪分布式模式:Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。 3. 完全分布式模式:有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点...

    hadoop-3.1.4.tar.gz

    Hadoop的核心由两个主要组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统,能够在大量的廉价硬件上存储和处理数据,具有高容错性和高可用性。MapReduce则是一种编程模型,...

    hadoop-3.3.0.tar.gz

    8. **多语言支持**:Hadoop 3.3.0继续支持多语言API,如Java、Python和Scala,同时提供了更多的文档和示例,帮助开发者更容易地集成Hadoop到他们的应用程序中。 在部署Hadoop 3.3.0之前,你需要确保你的Linux系统...

    Hadoop集群搭建(全)

    * 用户:hadoop 网络配置: * 配置主机名和IP地址 * 配置网络连接 Hadoop集群搭建步骤: 1. 配置Linux IP 2. 安装Hadoop 3. 配置Hadoop集群 4. 启动Hadoop集群 5. 测试Hadoop集群 常见错误总结: * Namenode未...

    细细品味Hadoop_Hadoop集群CentOS安装配置.rar_hadoop

    本篇文章将详细讲解Hadoop在CentOS操作系统上的安装与配置,帮助你深入理解Hadoop集群的搭建过程。 首先,我们要了解Hadoop的基本概念。Hadoop是由Apache软件基金会开发的一个开源框架,它允许分布式存储和处理大量...

    CentOS下Hadoop-0.20.2集群配置文档.docx

    在配置Hadoop-0.20.2集群于CentOS系统时,首先需要了解集群的基本网络环境。在这个案例中,集群由三个节点组成:一个NameNode和两个DataNode。它们通过局域网相互连接,可以相互ping通。每个节点都运行着CentOS操作...

    基于centos的大数据hadoop集群搭建说明文档

    【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式计算框架,它允许在普通硬件上处理大量数据。基于CentOS搭建Hadoop集群是常见的实践,下面将逐步指导你完成这一过程。 **1. 准备工作** 在开始搭建...

    hadoop-3.1.3.tar.gz

    《Hadoop 3.1.3在CentOS7上的安装与配置详解》 Hadoop,一个由Apache基金会所开发的分布式系统基础架构,是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本,旨在帮助...

    CentOS7 Hadoop 2.7.X 安装部署.docx

    CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架,由 Apache 开发,旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...

    CentOs系统hadoop集群搭建配置步骤

    CentOs系统下Hadoop集群式搭建配置步骤,一步步带你搭建分布式Hadoop

    在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.doc

    本文将为您详细介绍如何在 CentOS 7 上正确安装伪分布 Hadoop 2.7.2 和配置 Eclipse。 一、创建 Hadoop 用户 在安装 Hadoop 之前,需要创建一个名为 Hadoop 的用户。首先,点击左上角的“应用程序”->“系统工具”...

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc

    【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...

    在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.pdf

    【在CentOS7下正确安装伪分布Hadoop2.7.2和配置Eclipse】 在CentOS7系统中搭建Hadoop伪分布式环境是学习和测试Hadoop功能的基础步骤。这里我们将详细讲解如何创建Hadoop用户、安装JDK、配置Hadoop环境以及在Eclipse...

    大数据实践-hadoop集群安装与配置.doc

    "大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置,涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目,用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...

    基于Docker搭建Hadoop集群(2).docx

    现在,我们已经搭建好了Docker环境,下一步我们将基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具,它可以对大规模数据进行处理和分析。 我们可以使用Docker来部署Hadoop集群。首先,我们需要创建一个新的...

    hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置

    ### Hadoop与HBase集群及单机安装配置详解 #### 一、背景介绍 随着大数据技术的发展,Hadoop和HBase成为了处理大规模数据集的重要工具。Hadoop是一种能够存储和处理大量数据的分布式计算框架,而HBase则是在Hadoop...

Global site tag (gtag.js) - Google Analytics