`
longzhun
  • 浏览: 371718 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

linux防火墙引起的hadoop/zookeeper异常

 
阅读更多

在hadoop集群环境(linux系统)中最好关闭防火墙，不然会出现很多问题，例如namenode找不到datanode等。

如果不关闭防火墙，客户端使用API操作HDFS以及ZooKeeper，可能就会出现下面常见的两种异常：

1.使用API操作HDFS时会出现异常：java.net.NoRouteToHostException: No route to host

2.使用API操作ZK时会出现异常：org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for xxxx

 

解决方法:

使用root权限登陆后，输入关闭防火墙命令，每个运行hadoop和zk的都要关(两条命令任选一个):

/etc/init.d/iptables stop

service iptables stop

分享到：
| eclipse下 alt+/快捷键方式失效的解决
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hadoop-2.7.3+zookeeper-3.4.8+hadoop-2.7.3分布式环境搭建整理(王三旗亲试成功安装)

    本文档指导您搭建了 Hadoop 分布式环境，包括安装和配置 Hadoop、ZooKeeper 和 HBase，同时也介绍了相关的网络配置和 Linux 系统安装。希望本文档能够帮助您更好地理解 Hadoop 分布式环境的搭建和配置。

    安装部署zookeeper.txt

    /usr/local/zookeeper/bin/zkServer.sh status ``` ##### 2.7 编写服务脚本 为了方便管理Zookeeper服务，可以编写一个简单的Shell脚本来控制其启动、停止和重启等操作： ```bash #!/bin/bash # chkconfig:23451090 ...

    在Linux下搭建Zookeeper集群和配置 十分详细教程

    wget http://apache.mirrors.ionfish.org/zookeeper/zookeeper-x.x.x/apache-zookeeper-x.x.x-bin.tar.gz tar -zxvf apache-zookeeper-x.x.x-bin.tar.gz mv apache-zookeeper-x.x.x-bin zookeeper cd zookeeper ``` ...

    apache-zookeeper-3.6.0-bin.tar.gz

    在`/usr/local/zookeeper/conf`目录下，有一个名为`zoo_sample.cfg`的示例配置文件。复制并重命名为`zoo.cfg`，然后编辑这个文件以适应你的环境，如设置数据目录和端口号等。 4. **创建数据目录**： 根据`zoo.cfg...

    hadoop搭建 zookeeper_hbase_hive_sqoop_mysql_spark_hdfs.doc

    此外，还需确保防火墙允许必要的端口通信，比如SSH、Hadoop默认端口等。使用`visudo`命令配置免密码登录，简化集群间服务通信。 9. **网络配置**： 在CentOS中，我们需要配置静态IP地址，以避免每次重启后IP变动。...

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    ### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中，我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...

    第7章 ZooKeeper组件安装配置.docx

    ZooKeeper 的最新版本可以通过官网 http://hadoop.apache.org/zookeeper/ 来获取。安装 ZooKeeper 组件需要与 Hadoop 环境适配。注意，各节点的防火墙需要关闭，否则会出现连接问题。 首先，需要将 ZooKeeper 的...

    CentOS-6.4 64位系统下hadoop-2.2.0+hbase-0.96+zookeeper-3.4.5 分布式安装配置

    在本文中，我们将深入探讨如何在CentOS-6.4 64位操作系统上配置一个基于Hadoop 2.2.0、HBase 0.96和Zookeeper 3.4.5的分布式环境。这个过程涉及到多个步骤，包括系统设置、软件安装、配置以及服务启动。 首先，为了...

    hadoop2.2.0集群搭建

    本文详细介绍了如何搭建 Hadoop 2.2.0 的集群，包括前期的环境准备、节点角色分配、Hadoop 和 ZooKeeper 的安装配置等关键步骤。通过这些步骤，用户可以成功地部署一个功能完备的 Hadoop 集群，支持大数据处理的各项...

    HADOOP&ZK&HBASE&YCSB集群搭建验证

    HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证 HADOOP&ZOOKEEPER&HBASE&YCSB集群搭建验证是大数据处理和存储的关键技术栈。该技术栈主要包括四个组件：HADOOP、ZOOKEEPER、HBASE 和 YCSB。了解这些技术的搭建和验证是大...

    Hadoop_HBase_Pig

    为确保Hadoop集群的正常通信，需对Linux防火墙进行适当配置。具体步骤如下： - 使用`chkconfig iptables on`命令开启防火墙服务，或`service iptables start`即时开启（但重启后会失效）。 - 若要关闭防火墙，可...

    spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

    本项目旨在搭建一套完整的Spark集群环境，包括Hadoop HA（高可用）、HBase、Phoenix、Kafka、Flume、Zookeeper以及Scala等多个组件的集成。这样的环境适用于大规模的数据处理与分析任务，能够有效地支持实时数据流...

    Hadoop 2.6.5在CentOS6.8版本下的集群部署

    为了确保Hadoop的正常运行，需要关闭selinux和iptables防火墙服务。 接下来是软件的规划和安装。JDK是Hadoop运行所必需的，这里选择的是JDK 1.7.0_80稳定版。Apache ZooKeeper是一个分布式协调服务，对于Hadoop集群...

    hadoop2.7.1安装手册.docx

    - hadoop09: JDK, Hadoop, ZooKeeper, QuorumPeerMain 在安装过程中，确保各节点间的网络通信畅通，并正确配置集群间的服务通信。此外，还需关注硬件资源分配，以保证 Hadoop 集群的稳定运行。 总结，安装 Hadoop ...

    shell脚本一键安装zookeeper3.4.5

    - 添加类似`export PATH=$PATH:/usr/local/zookeeper/bin`的语句。 6. **启动与检查Zookeeper**： - 使用`zkServer.sh start`启动Zookeeper服务，`zkServer.sh status`检查服务状态。 - 可以通过`jps`命令查看...

    windows环境下hadoop依赖

    在Windows环境下搭建Hadoop 2.7.x集群是一项挑战性的任务，因为Hadoop最初是为Linux设计的。然而，通过一些技巧和适当的配置，我们可以在Windows上运行Hadoop，这通常用于开发和测试目的。本篇文章将深入探讨Windows...

    hadoop搭建

    搭建Hadoop集群涉及多个步骤，需要事先准备Linux环境，并且需要关闭防火墙以便集群中的节点可以相互通信。同时需要配置主机名和IP映射，确保能够通过主机名识别对应的IP地址。 环境准备的首要步骤是创建对应的目录...

    部署全分布模式Hadoop集群 实验报告

    5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划...

    hadoop2.4.1

    根据提供的标题、描述、标签及部分内容，我们可以提炼出与Hadoop 2.4.1集群搭建及Hadoop HA相关的详细知识点。以下是对这些知识点的详细阐述： ### Hadoop 2.4.1 集群搭建与Hadoop HA #### 一、Hadoop 2.4.1 版本...

Magicbox
Global site tag (gtag.js) - Google Analytics