hadoop,hbase集群管理

简单介绍hadoop1.0、hbase的进程及其启动、关闭等管理

 

主要参考官网的帮助文档：

Hadoop集群的部署及使用：http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html

hadoop集群的常用管理：http://hadoop.apache.org/docs/r1.2.1/commands_manual.html

hadoop分布式文件系统命令：http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html

hbase集群部署及使用：http://hbase.apache.org/book/quickstart.html

 

 

版本如下：hadoop-1.2.1、hbase-0.94.18、zookeeper-3.4.5

 

 

一、启动服务

注：建议按顺序启动服务：1、hadoop；2、zookeeper；3、hbase；

1、启动hadoop

hadoop@hhx073:~$ ./hadoop-1.2.1/bin/start-all.sh

2、启动zookeeper

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh start"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh start"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh start"

3、启动hbase

hadoop@hhx073:~$ ./hbase-0.94.18/bin/start-hbase.sh

 

二、关闭服务

注：必须按顺序关闭服务：1、hbase；2、zookeeper；3、hadoop；

1、关闭hbase

hadoop@hhx073:~$ ./hbase-0.94.18/bin/stop-hbase.sh

2、关闭zookeeper

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh stop"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh stop"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh stop"

3、关闭hadoop

hadoop@hhx073:~$ ./hadoop-1.2.1/bin/stop-all.sh

 

三、集群检查

可以通过下面两种方式，来检查集群启动及工作是否正常。如果存在异常，必须通过相应的日志来定位异常问题。

1、查看集群的管理页面

在浏览器中打开下面URL地址，通过页面内容检查集群是否正常。

Hadoop:

http://hhx073:50070/

http://hhx073:50030/

Hbase:

http://hhx073:60010/master-status

 

2、查看后台进程

一般如果正常启动hadoop、hbase、zookeeper，我们可以在hadoop服务器上通过jps命令查看相应的守护进程

hadoop@hhx247:~$ jps

 

相关进程说明

Hadoop hdfs进程：

19803 SecondaryNameNode

19571 NameNode

19672 DataNode

Hadoop mapreduce进程：

19994 TaskTracker

19887 JobTracker

Hbase进程：

 10554 HMaster

13447 HRegionServer

Zookeeper进程：

13393 QuorumPeerMain