怎么停止和重新启用hadoop的DataNode

停止

比如我原来有10个节点的集群. 现在我想停掉2个,但数据不能丢失,只能让它们的数据转移到其它8台上.这道过程就是decommission. 我们不能直接把那2台停掉, 要在停掉之前把数据转移出去.

首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下
例如
CS02
CS03
CS04
CS05
CS06
CS07
CS08
CS09
CS10
这样就表明要把9台机器给停了.

然后在conf/hadoop-site.xml添加这样的属性:
  <property>                                                                                                                       
        <name>dfs.hosts.exclude</name>                                                                                             
        <value>excludes</ value>                                                                                                    
  </property>  

做完这步, 用bin/hadoop dfsadmin -refreshNodes命令更新结点以及hadoop配置

然后你可以通过 bin/hadoop dfsadmin -report 就可以查看到类似这样的信息:
Name: 192.168.0.86:50010
State          : Decommission in progress
Total raw bytes: 30452150272 (28.36 GB)
Remaining raw bytes: 17727606637(16.51 GB)
Used raw bytes: 6480990208 (6.04 GB)
% used: 21.28%
Last contact: Thu Nov 27 02:25:40 CST 2008

Name: 192.168.0.89:50010
State          : Decommissioned
Total raw bytes: 0 (0 KB)
Remaining raw bytes: 0(0 KB)
Used raw bytes: 4703211520 (4.38 GB)
% used: ∞%
Last contact: Thu Jan 01 08:00:00 CST 1970

可以看到86在停止中, 89已经停止了.
在没停止之前, mapreduce会拒绝操作. 会出异常的

 

重新启用

 

评论

5 楼 coolbaby1987 2009-09-01  

你好！请教一下：在作业执行时，如何动态增加datanode?或者我该看哪部分的源码？谢了

4 楼 coderplay 2009-01-18  

chinara 写道

你好，请问怎么重新添加DataNode？我其中一台slave机子重启了，上面的datanode就失效了，在master上./hadoop dfsadmin -report可以看到这个datanode，但可用容量都是0，我用./hadoop dfsadmin -refreshNodes也试了，还是一样，不知道怎么解决？

如果配置没有问题的话, 使用bin/start-dfs.sh试试

3 楼 chinara 2009-01-16  

你好，请问怎么重新添加DataNode？我其中一台slave机子重启了，上面的datanode就失效了，在master上./hadoop dfsadmin -report可以看到这个datanode，但可用容量都是0，我用./hadoop dfsadmin -refreshNodes也试了，还是一样，不知道怎么解决？

2 楼 coderplay 2008-12-12  

快发1.0版了, 还有节点数据的负载均衡等,逐渐完善中

1 楼 Arbow 2008-12-12  

看来Hadoop还是挺完备的啊，经过这么多年的发展功能都很全。
那Disco现在还是很简单，即使依赖着OTP这个神器，还有很长的路要走。