`
亦梦亦真
  • 浏览: 229661 次
  • 性别: Icon_minigender_1
  • 来自: 秦皇岛
社区版块
存档分类
最新评论

hadoop退服节点

阅读更多

其实网上有很多了,但是说的都不详细。今天我自己测试了一次,把测试结果发布出来:

首先,你的集群肯定是在运行中。并且已经退出的安全模式。

在HADOOP_HOME下新建一个文件,例如slaves.ex,在里面添加需要退服的名称节点的IP地址,一行一个。

然后配置HADOOP_HOME/conf下的hdfs-site.xml添加dfs.host.exclude属性,在value值下写slaves.ex。

然后到HADOOP_HOME/bin目录下,执行hadoop dfsadmin -refreshNodes,然后可以在web页面或是使用hadoop dfsadmin -report,可以看到你设置要退服的这个节点的Decommission Status : Decommissioned 这样就开始了,你可以刷新页面,查看其它节点,在增加,OK,等完事儿了就行了。

等该节点退服完毕,你再刷新就可以看到,它的节点数就会变成现在的节点数了

注意:

1.首先保证其它节点的硬盘未满,能够放得下需要退服的节点的数据量

2.为了防止下次启动会出现问题,建议在退服节点完毕以后,删除HADOOP_HOME/conf/slaves中已经退服的点节名称。

 

关于hadoop的一些命令,大家可以参考

http://hadoop.apache.org/common/docs/r0.21.0/cn/commands_manual.html#dfsadmin

 

1
1
分享到:
评论
1 楼 亦梦亦真 2011-04-14  
再补充一点啊,完成以后将hdfs-site.xml里的dfs.host.exclude属性也注了吧,这样Dead Nodes 就会为0了,当然,只在重启集群的时候有用。至于性能,没什么影响吧

相关推荐

    2.Hadoop动态增加节点与删除节点

    Hadoop动态增加节点与删除节点,本人自己整理。。

    hadoop (多节点)环境搭建

    Hadoop 多节点环境搭建 Hadoop 是一种分布式计算技术,能够处理大量数据。搭建 Hadoop 环境是学习和使用 Hadoop 的基础。本文将详细介绍如何搭建多节点 Hadoop 环境,包括安装 Ubuntu 操作系统、安装 Hadoop 软件、...

    Hadoop动态新增节点

    Hadoop动态新增节点

    hadoop单节点配置

    Hadoop 单节点配置详解 Hadoop 是一个开源的大数据处理框架,由Apache基金会维护。它可以在单节点模式下运行,以便于开发、测试和学习。单节点模式下,Hadoop 可以在一台机器上模拟分布式环境,方便用户快速上手和...

    hadoop杀僵尸节点

    在IT领域,特别是大数据处理平台Hadoop的运维中,“hadoop杀僵尸节点”是一个重要的维护操作,用于确保集群健康运行,提升资源利用率。本文将详细解析这一知识点,包括其背景、实现原理及具体操作方法。 ### 背景 ...

    hadoop 2.8.2 3节点集群安装及native编译

    Hadoop 2.8.2 三节点集群安装及 native 编译 本文详细介绍了在 RHEL 6.7 操作系统上安装 Hadoop 2.8.2 三节点集群的步骤,包括集群环境准备、Hadoop 软件包的准备、JDK 的安装、集群成员 SSH 互信、NTP 的安装、...

    ubuntu搭建hadoop单节点.docx

    ubuntu 搭建 Hadoop 单节点 Hadoop 是一个由 Apache 基金会所开发的分布式系统根底架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。Hadoop 实现了一个分布式文件系统(HDFS),简称 HDFS。HDFS 有...

    双节点hadoop安装文档

    【双节点Hadoop安装文档详解】 在分布式计算领域,Hadoop是一个开源的框架,它允许在廉价硬件上处理大规模数据。对于初学者或小型测试环境,双节点Hadoop安装是一个理想的起点,因为其简单易懂,能快速理解Hadoop的...

    Hadoop单节点部署指导

    ### Hadoop单节点部署指导知识点详解 #### 一、实验目的 - **理解Hadoop原理机制**:深入了解Hadoop的工作原理及其背后的技术架构。 - **熟悉Hadoop集群体系结构**:掌握Hadoop集群中各组成部分的功能及其交互方式...

    基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf

    "基于多元线性回归模型的Hadoop集群节点性能计算方法" 本文档介绍了一种基于多元线性回归模型的Hadoop集群节点性能计算方法,该方法可以对Hadoop集群节点的性能进行准确的评估和优化。 什么是Hadoop集群节点性能...

    5_解决hadoop_spark节点未正常显示问题

    5_解决hadoop_spark节点未正常显示问题-----------------------------------------------------------------------------------------------------------------------------------------

    hadoop的单节点安装与配置

    linux入门级资源,对需要配置环境变量的初学者有一定作用,不喜勿喷。谢谢

    【大数据处理技术实践】期末考查题目:集群搭建、合并文件与数据统计可视化

    采用虚拟机的方式,先配置好Hadoop的主节点,然后通过克隆的方式创建Slave节点,实现3节点的HDFS集群 任务二: 实验一:使用任务一搭建的集群,编程实现合并文件MergeFile的功能: 将数据集trec06p\_sample中的...

    Hadoop和Spark多节点集群搭建:从入门到进阶0基础!!易懂!!

    Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和Spark多节点集群搭建Hadoop和...

    Hadoop三节点集群安装

    Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器

    Hadoop单节点伪分布式搭建中文版

    【Hadoop 单节点伪分布式搭建】是一种适合学习和测试Hadoop环境的简易方式,无需配置复杂的多节点集群。在单节点伪分布式模式下,所有Hadoop服务都在同一个节点上以独立Java进程的方式运行,模拟分布式环境的行为,...

    hadoopcluster-ansible:它包含Ansible Playbook和角色,可通过AWS部署Hadoop多节点集群

    使用Ansible的Hadoop多节点集群 该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 ...

Global site tag (gtag.js) - Google Analytics