`
wangchangtao
  • 浏览: 18810 次
  • 性别: Icon_minigender_1
  • 来自: 石家庄
社区版块
存档分类
最新评论

在Hadoop集群中添加机器和删除机器

阅读更多
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断。

添加机器
在集群的Master机器中,修改$HADOOP_HOME/conf/slaves文件,在其中添加需要加入集群的新机器(newHost)的主机名:

newHost
hp2

然后在Master机器中执行如下命令:
$HADOOP_HOME/bin/start-all.sh
这样操作完成之后,新的机器就添加到集群中来了。

删除机器
不安全的方式
由于Hadoop集群自身具备良好的容错性,可以直接关闭相应的机器,从而达到将该机器撤除的目的。但是如果一次性操作3台以上的机器,就有可能造成部分数据丢失,所以不推荐使用这种方式进行操作。

安全的方式
在集群的Master机器中,新建一个文件:$HADOOP_HOME/conf/nn-excluded-list,在这个文件中指定需要删除的机器主机名(hp3):

hp3

然后,修改Master机器的配置文件:$HADOOP_HOME/conf/hdfs-site.xml,添加如下内容:

<property>

  <name>dfs.hosts.exclude</name>

  <value>conf/nn-excluded-list</value>

</property>

最后,在Master机器中执行如下命令:

$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

这样操作完成之后,可以在HDFS集群中看到,hp3机器已经处于Decommission In Progress状态:
我们需要等待一定的时间,等待hp3中datanode的Decommission操作完成以后,再到hp3机器中关闭所有的Hadoop进程即可。

这样就完成了整个从集群中删除机器的操作。



分享到:
评论

相关推荐

    Hadoop集群中动态增加和减少机器

    ### Hadoop集群中动态增加和减少机器 #### 知识点一:Hadoop集群概述 - **定义**:Hadoop是一种能够对大量数据进行分布式处理的软件框架,它设计用于运行于由一般商用硬件构成的大规模集群之上。 - **组成**:主要...

    Hadoop集群+Zookeeper+HBase环境搭建

    在搭建Hadoop集群的过程中,需要遵循一系列详细的步骤,以确保环境的正确配置和组件之间的协同工作。接下来,我将详细阐述标题和描述中涉及的知识点。 ### Hadoop集群环境搭建 #### 1. 系统准备与规划 首先,需要...

    hadoop集群内lzo的安装与配置

    在Hadoop集群中,可以通过在$HADOOP_HOME/lib目录下添加LZO库文件,并在配置文件中设置LZO编码/解码器的路径来完成LZO编码/解码器的配置。 当这一切都配置完成之后,Hadoop集群就能够利用LZO算法对数据进行压缩和解...

    hadoop 集群搭建.docx

    在搭建Hadoop集群的过程中,我们需要遵循一系列步骤来确保所有组件能正常协同工作。Hadoop是一个分布式文件系统,它允许多台计算机(节点)共享存储和处理数据,这使得大规模数据处理变得高效且可靠。 首先,我们...

    hadoop集群安装

    本文详细介绍了如何在WMware中搭建一个完整的Hadoop集群环境,包括Linux静态IP配置、SSH免密码登录、JDK安装、Hadoop集群安装以及Hive、Zookeeper和HBase的安装。通过这一系列步骤,读者可以顺利地构建自己的Hadoop...

    Hadoop集群的使用与管理.pdf

    启动命令通常使用脚本如`start-dfs.sh`和`start-yarn.sh`,但需要注意的是,如果ResourceManager和NameNode不在同一台机器上,需要分别在各自节点上启动。例如,启动NameNode使用`hadoop-daemon.sh start namenode`...

    搭建hadoop集群,到zookeeper包含ssh

    在正式开始搭建Hadoop集群之前,需要确保系统环境已经做好了相应的准备工作。这里以Linux环境为例,首先需要创建必要的目录结构来支持后续的安装与配置流程。 1. **创建目录结构**: - `datas`:用于存放测试数据...

    hadoop和hive调优个人总结

    Datanode的热插拔是指在Hadoop集群中动态添加或删除Datanode节点的过程。这种操作可以提高Hadoop集群的可扩展性和灵活性。 添加Datanode的步骤: 1. 在新机器上安装好Hadoop,并配置好和NameNode的SSH连接。 2. 把...

    hadoop的web上传、下载、更新、删除和文件追加

    它将大文件分割成多个块,并在集群中的多台机器上复制这些块,以提高容错性和读取性能。HDFS遵循主从结构,由NameNode负责元数据管理,DataNodes存储实际数据。 2. **Web界面集成** 结合Tomcat实现的Web界面,是...

    hadoop2.8 window支持bin文件

    总的来说,"hadoop2.8 window支持bin文件"意味着在Windows环境下安装和配置Hadoop 2.8时,你需要关注"bin"目录的替换,确保正确设置环境变量,配置Hadoop的XML配置文件,并理解如何使用命令行工具与Hadoop集群交互。...

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin 3.1.1是该插件的一个特定版本,可能包含了一些针对Hadoop 3.x版本的优化和修复,以确保与Hadoop集群的兼容性和稳定性。 6. **使用场景**: 这个插件主要适用于大数据开发人员,特别是那些...

    hadoop动态增加和删除节点方法介绍

    上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容,这里我们看看如何在Hadoop中动态地增加和删除节点(DataNode)。 假设集群操作系统均为:CentOS 6.7 x64 Hadoop版本为:2.6.3 一、动态...

    Hadoop伪分布式部署文档(包括本地开发环境,eclipse远程连接Hadoop服务器)

    Hadoop伪分布式部署文档是指在单台机器上模拟分布式Hadoop集群的部署文档,包括服务器伪分布式部署、本地Hadoop开发环境部署、Eclipse远程连接Hadoop服务器等内容。下面是该文档的详细解释: 首先,需要安装JDK,...

    centos安装配置hadoop超详细过程.docx

    ### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台,...通过以上步骤,您可以在CentOS环境下成功安装和配置Hadoop集群,实现大数据的分布式存储和处理。

    基于SpringBoot + Hadoop实现的一个简易酒店管理系统,本科毕业设计项目,源码、数据库,相关文件齐全,完美运行

    Hadoop 集群规划策略请参考 /hadoop_etc/hadoop集群规划.txt Hadoop 配置文件请参考 /hadoop_etc/etc 修改 src/main/resources/config/hadoop.properties 中的 HDFS 和 namenode 配置 修改 CommentServiceImpl 类 ...

    大数据--Hadoop HDFS

    Hadoop集群通常由多台相对便宜的计算机组成,这些计算机通过网络连接在一起,共同完成数据处理任务。每个节点可以同时充当客户端和服务端的角色。集群中的节点可以位于同一地点,例如数据中心内的机架中。 #### ...

    基于Hadoop的网盘管理系统(后端).zip

    3. 扩展性:随着用户数量和数据量的增长,Hadoop集群可以轻松扩展,只需添加新的节点即可提升整体性能,满足业务需求。 三、网络硬盘系统的实现细节 1. 用户接口:网络硬盘系统的前端通常采用Web或移动应用的形式...

    Hadoop 管理

    在Hadoop集群中添加或删除节点是一项重要的维护任务。这些操作有助于扩展集群的能力或移除故障节点以维持集群的整体健康状态。 1. **添加节点** - **更新/etc/hosts文件**:确保新节点的主机名可以被集群中的其他...

    Hadoop入门实战手册

    **7.5 如何在一个Hadoop集群新增或删除一些机器而不重启** - **新增节点**:逐步指导如何添加新的节点到现有集群中。 - **删除节点**:介绍如何从集群中安全地移除节点。 **7.6 其它日常问题说明**:针对常见的运维...

Global site tag (gtag.js) - Google Analytics