首先确定,Namenode的9000端口是否在监听:
- [www.linuxidc.com @master ~]$ netstat -nap | grep 9000
- (Not all processes could be identified, non-owned process info
- will not be shown, you would have to be root to see it all.)
- tcp 0 0 192.168.0.180:9000 0.0.0.0:* LISTEN 5374/java
可见,Namenode启动没有问题。
在网上查了一下,有人说( http://www.linuxidc.com/Linux/2012-05/59748.htm )是,hostname和hosts中配置的虚拟域名不一致会导致出现No route to host异常,经过验证:
master结点:
- [www.linuxidc.com @master ~]$ cat /etc/hosts
- # Do not remove the following line, or various programs
- # that require network functionality will fail.
- 127.0.0.1 localhost localhost
- #::1 localhost6.localdomain6 localhost6
- 192.168.0.180 master master
- 192.168.0.181 slave-01 slave-01
- 192.168.0.182 slave-02 slave-02
- 192.168.0.183 slave-03 slave-03
- [www.linuxidc.com @master ~]$ cat /etc/sysconfig/network
- NETWORKING=yes
- NETWORKING_IPV6=no
- HOSTNAME=master
slave-01结点:
- [shirdrn@slave-01 ~]$ cat /etc/sysconfig/network
- NETWORKING=yes
- NETWORKING_IPV6=no
- HOSTNAME=slave-01
- [shirdrn@slave-01 ~]$ cat /etc/hosts
- # Do not remove the following line, or various programs
- # that require network functionality will fail.
- 127.0.0.1 localhost localhost
- #::1 localhost6.localdomain6 localhost6
- 192.168.0.180 master master
- 192.168.0.181 slave-01 slave-01
- 192.168.0.182 slave-02 slave-02
- 192.168.0.183 slave-03 slave-03
另外两个从结点也没有问题,此处略去。
经过对比验证,都没有问题。
其实,我已经想到可能是防火墙的问题,经过查证,终于找到了有人曾经遇到过该问题,可见文章http://www.linuxidc.com/Linux/2012-05/59749.htm ,需要关闭防火墙,在集群中每台机器上都执行如下命令:
- [www.linuxidc.com @master ~]$ su root
- Password:
- [root@master shirdrn]# service iptables stop
- Flushing firewall rules: [ OK ]
- Setting chains to policy ACCEPT: filter [ OK ]
- Unloading iptables modules: [ OK ]
需要切换到root用户才能执行关闭。
然后,再启动Hadoop集群,就没有问题了。
相关推荐
Hadoop是一款开源的分布式...在CentOS 6.5上安装Hadoop 2.6.4需要准备Java环境,下载并解压安装包,配置相关参数,启动服务,并通过命令行测试其功能。理解Hadoop的核心组件及其工作原理,有助于更好地利用这一工具。
虚拟机VMware下centos配置hadoop集群 在本文中,我们将详细介绍如何在虚拟机VMware下使用三个CentOS系统来配置Hadoop集群,包括两个slave节点和一个master节点。 一、JDK安装 在开始配置Hadoop集群之前,我们...
### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台,...通过以上步骤,您可以在CentOS环境下成功安装和配置Hadoop集群,实现大数据的分布式存储和处理。
描述 "64位centos7编译hadoop3.2.2" 提示我们这个压缩包是在64位的CentOS 7操作系统环境下编译的。CentOS 7是一个稳定且广泛使用的Linux发行版,常被用作服务器操作系统,特别是对于运行开源软件如Hadoop的情况。...
2. 伪分布式模式:Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。 3. 完全分布式模式:有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点...
Hadoop的核心由两个主要组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统,能够在大量的廉价硬件上存储和处理数据,具有高容错性和高可用性。MapReduce则是一种编程模型,...
8. **多语言支持**:Hadoop 3.3.0继续支持多语言API,如Java、Python和Scala,同时提供了更多的文档和示例,帮助开发者更容易地集成Hadoop到他们的应用程序中。 在部署Hadoop 3.3.0之前,你需要确保你的Linux系统...
* 用户:hadoop 网络配置: * 配置主机名和IP地址 * 配置网络连接 Hadoop集群搭建步骤: 1. 配置Linux IP 2. 安装Hadoop 3. 配置Hadoop集群 4. 启动Hadoop集群 5. 测试Hadoop集群 常见错误总结: * Namenode未...
本篇文章将详细讲解Hadoop在CentOS操作系统上的安装与配置,帮助你深入理解Hadoop集群的搭建过程。 首先,我们要了解Hadoop的基本概念。Hadoop是由Apache软件基金会开发的一个开源框架,它允许分布式存储和处理大量...
在配置Hadoop-0.20.2集群于CentOS系统时,首先需要了解集群的基本网络环境。在这个案例中,集群由三个节点组成:一个NameNode和两个DataNode。它们通过局域网相互连接,可以相互ping通。每个节点都运行着CentOS操作...
【标签】:Hadoop集群搭建 【正文】: Hadoop是一个开源的分布式计算框架,它允许在普通硬件上处理大量数据。基于CentOS搭建Hadoop集群是常见的实践,下面将逐步指导你完成这一过程。 **1. 准备工作** 在开始搭建...
《Hadoop 3.1.3在CentOS7上的安装与配置详解》 Hadoop,一个由Apache基金会所开发的分布式系统基础架构,是大数据处理领域的重要工具。本文将详细阐述如何在CentOS7操作系统上安装和配置Hadoop 3.1.3版本,旨在帮助...
CentOS7 Hadoop 2.7.X 安装部署 本文档将指导您如何在 CentOS 7 上安装和部署 Hadoop 2.7.X。Hadoop 是一个开源的大数据处理框架,由 Apache 开发,旨在提供高效、可靠、可扩展的数据处理能力。 准备软件包 在...
CentOs系统下Hadoop集群式搭建配置步骤,一步步带你搭建分布式Hadoop
本文将为您详细介绍如何在 CentOS 7 上正确安装伪分布 Hadoop 2.7.2 和配置 Eclipse。 一、创建 Hadoop 用户 在安装 Hadoop 之前,需要创建一个名为 Hadoop 的用户。首先,点击左上角的“应用程序”->“系统工具”...
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念,包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释:...
【在CentOS7下正确安装伪分布Hadoop2.7.2和配置Eclipse】 在CentOS7系统中搭建Hadoop伪分布式环境是学习和测试Hadoop功能的基础步骤。这里我们将详细讲解如何创建Hadoop用户、安装JDK、配置Hadoop环境以及在Eclipse...
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置,涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目,用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
现在,我们已经搭建好了Docker环境,下一步我们将基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具,它可以对大规模数据进行处理和分析。 我们可以使用Docker来部署Hadoop集群。首先,我们需要创建一个新的...
### Hadoop与HBase集群及单机安装配置详解 #### 一、背景介绍 随着大数据技术的发展,Hadoop和HBase成为了处理大规模数据集的重要工具。Hadoop是一种能够存储和处理大量数据的分布式计算框架,而HBase则是在Hadoop...