hadoop集群添加新节点

Hadoop添加节点的方法
1.将cluster停止。
2. 在新加的节点上配置好环境，包括ssh，jdk，并将其它datanode上的hadoop和hbase文件夹全部copy过去；
3. 将新的datanode的host加到集群namenode及其他datanode中去；
4. 将新的datanode的host加到master的conf/slaves中；
5. 再次启动cluster,在cluster中看到新的datanode节点；
5. 运行bin/start-balancer.sh，平衡数据。
备注：
1.balance是为了平衡数据，如果不执行该命令，cluster将会把新的数据都存放在新的datanode上，这样，造成分布不平衡，影响mr的工作效率。
2. start-balancer.sh和调用bin/shadoop balancer命令相似，也可加参数 -threshold 5（
   threshold 是平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长）。
3. balancer也可以在有mr job的cluster上运行，默认dfs.balance.bandwidthPerSec很低，为1M/s。在没有mr job时，可以提高该设置加快负载均衡时间。
4.如果cluster设置的副本数不为3（默认），需要先运行命令hadoop fs –setrep [-R] <path>
进行设置一个文件的副本系数。如果默认为3则不必。如果执行完平衡以后才改变副本数，会将新加入到新节点上的所有数据删除。
5.dfs.replication设置的副本系数只在文件系统写入时有效，并不影响在新添加节点时，平衡时的副本数
由于还有hbase数据库，因此，在运行完平衡以后，将hbase下的.META.文件删除（防止出错），启动hbase，执行hbase org.jruby.Main add_table /表名 来进行hbase表恢复

评论

1 楼 Faeries 2013-07-20