`
奔跑的羚羊
  • 浏览: 577721 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop删除节点(Decommissioning Nodes)

阅读更多
1.集群配置
   修改conf/hdfs-site.xml文件
<property>
  <name>dfs.hosts.exclude</name>
  <value>/data/soft/hadoop/conf/excludes</value>
  <description>Names a file that contains a list of hosts that are
  not permitted to connect to the namenode.  The full pathname of the
  file must be specified.  If the value is empty, no hosts are
  excluded.</description>
</property>


2确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-003
slave-004


3.强制重新加载配置
[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes

它会在后台进行Block块的移动

4.关闭节点
   等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。
[root@master hadoop]# ./bin/ hadoop dfsadmin -report

   可以查看到现在集群上连接的节点

  正在执行Decommission,会显示:
 
Decommission Status : Decommission in progress

  执行完毕后,会显示:
 
Decommission Status : Decommissioned


5.再次编辑excludes文件
一旦完成了机器下架,它们就可以从excludes文件移除了

登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下
分享到:
评论

相关推荐

    ubuntu搭建hadoop单节点.docx

    ubuntu 搭建 Hadoop 单节点 Hadoop 是一个由 Apache 基金会所开发的分布式系统根底架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。Hadoop 实现了一个分布式文件系统(HDFS),简称 HDFS。HDFS 有...

    hadoop单节点配置

    Hadoop 单节点配置详解 Hadoop 是一个开源的大数据处理框架,由Apache基金会维护。它可以在单节点模式下运行,以便于开发、测试和学习。单节点模式下,Hadoop 可以在一台机器上模拟分布式环境,方便用户快速上手和...

    基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf

    "基于多元线性回归模型的Hadoop集群节点性能计算方法" 本文档介绍了一种基于多元线性回归模型的Hadoop集群节点性能计算方法,该方法可以对Hadoop集群节点的性能进行准确的评估和优化。 什么是Hadoop集群节点性能...

    Hadoop单节点部署指导

    ### Hadoop单节点部署指导知识点详解 #### 一、实验目的 - **理解Hadoop原理机制**:深入了解Hadoop的工作原理及其背后的技术架构。 - **熟悉Hadoop集群体系结构**:掌握Hadoop集群中各组成部分的功能及其交互方式...

    2.Hadoop动态增加节点与删除节点

    Hadoop动态增加节点与删除节点,本人自己整理。。

    Hadoop三节点集群安装

    Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器

    Hadoop单节点伪分布式搭建中文版

    【Hadoop 单节点伪分布式搭建】是一种适合学习和测试Hadoop环境的简易方式,无需配置复杂的多节点集群。在单节点伪分布式模式下,所有Hadoop服务都在同一个节点上以独立Java进程的方式运行,模拟分布式环境的行为,...

    hadoop (多节点)环境搭建

    Hadoop 多节点环境搭建 Hadoop 是一种分布式计算技术,能够处理大量数据。搭建 Hadoop 环境是学习和使用 Hadoop 的基础。本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、...

    hadoopcluster-ansible:它包含Ansible Playbook和角色,可通过AWS部署Hadoop多节点集群

    使用Ansible的Hadoop多节点集群 该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 ...

    作业二-Mac版Hadoop三节点集群搭建.docx

    【标题】: "Mac版Hadoop三节点集群搭建" 【描述】: 在Mac环境下搭建Hadoop三节点集群是一项常见的IT任务,特别是在大数据处理和分布式计算的学习与实践中。Hadoop是Apache基金会开发的一个开源项目,主要负责分布式...

    增加Hadoop名称节点的高可用性

    ### 增加Hadoop名称节点的高可用性 #### 概述 本文档主要讨论了如何通过元数据复制来增强Hadoop名称节点(NameNode)的高可用性(High Availability,简称HA)。Hadoop作为分布式计算与存储平台的基础,其自身的...

    4、hadoop 多节点部署和测试(HA_HDFS)

    在这个主题“4、Hadoop多节点部署和测试(HA_HDFS)”中,我们将深入探讨如何在高可用性(HA)模式下配置和测试Hadoop的HDFS(Hadoop分布式文件系统)组件。这里我们将详细讨论涉及的知识点: 1. **HDFS高可用性**:...

    大数据之hadoop多节点集群搭建.docx

    大数据之 Hadoop 多节点集群搭建 本文将详细介绍如何搭建一个多节点 Hadoop 集群,包括集群架构设计、虚拟机配置、节点设置等内容。 一、集群架构设计 在搭建 Hadoop 集群之前,需要设计集群的架构。本文中的示例...

    hadoop单节点安装.docx

    【Hadoop单节点安装】 Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储海量数据。本文将详细介绍在Ubuntu 12.04 64位服务器上安装Hadoop 2.2.0的单节点配置过程。 **一、环境准备** 在...

    hadoop单节点安装.pdf

    在本文中,我们将深入探讨如何在Ubuntu 12.04 64位服务器上安装和配置Hadoop 2.2.0单节点环境。这个过程由雨水在2013年10月24日记录并发布在CSDN博客上。以下是详细的步骤: 首先,确保你的环境准备就绪。这包括在...

    CDH5.9.0节点删除下线

    在CDH5.9.0集群环境中,有时由于硬件更新、资源优化或故障处理等原因,可能需要删除或下线部分节点。以下是一个详尽的步骤指南,帮助你安全地从CDH5.9.0集群中移除节点。 首先,确保你已经了解了CDH(Cloudera ...

    hadoop单节点环境配置(最新)[整理].pdf

    在单节点环境中配置Hadoop,主要是为了学习和测试Hadoop的功能,而无需复杂的多节点集群设置。以下是配置Hadoop单节点环境的详细步骤: 1. **配置Java环境**: 首先,确保你的系统中已经安装了Java开发工具包(JDK...

    Hadoop单节点和集群安装课件汇总整本书电子教案全套课件完整版ppt最新教学教程.pptx

    Hadoop单节点和集群安装课件汇总整本书电子教案全套课件完整版ppt最新教学教程.pptx

    hadoop的单节点安装与配置

    linux入门级资源,对需要配置环境变量的初学者有一定作用,不喜勿喷。谢谢

Global site tag (gtag.js) - Google Analytics