`
szjian
  • 浏览: 74350 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hadoop,hbase集群管理

阅读更多

简单介绍hadoop1.0hbase的进程及其启动、关闭等管理

 

主要参考官网的帮助文档:

Hadoop集群的部署及使用:http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html

hadoop集群的常用管理:http://hadoop.apache.org/docs/r1.2.1/commands_manual.html

hadoop分布式文件系统命令:http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html

hbase集群部署及使用:http://hbase.apache.org/book/quickstart.html

 

 

版本如下:hadoop-1.2.1hbase-0.94.18zookeeper-3.4.5

 

 

一、启动服务

注:建议按顺序启动服务:1hadoop2zookeeper3hbase

1、启动hadoop

hadoop@hhx073:~$ ./hadoop-1.2.1/bin/start-all.sh

2、启动zookeeper

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh start"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh start"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh start"

3、启动hbase

hadoop@hhx073:~$ ./hbase-0.94.18/bin/start-hbase.sh

 

二、关闭服务

注:必须按顺序关闭服务:1hbase2zookeeper3hadoop

1、关闭hbase

hadoop@hhx073:~$ ./hbase-0.94.18/bin/stop-hbase.sh

2、关闭zookeeper

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh stop"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh stop"

hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh stop"

3、关闭hadoop

hadoop@hhx073:~$ ./hadoop-1.2.1/bin/stop-all.sh

 

三、集群检查

可以通过下面两种方式,来检查集群启动及工作是否正常。如果存在异常,必须通过相应的日志来定位异常问题。

1、查看集群的管理页面

在浏览器中打开下面URL地址,通过页面内容检查集群是否正常。

Hadoop:

http://hhx073:50070/

http://hhx073:50030/

Hbase:

http://hhx073:60010/master-status

 

2、查看后台进程

一般如果正常启动hadoophbasezookeeper,我们可以在hadoop服务器上通过jps命令查看相应的守护进程

hadoop@hhx247:~$ jps

 

相关进程说明

Hadoop hdfs进程:

19803 SecondaryNameNode

19571 NameNode

19672 DataNode

Hadoop mapreduce进程:

19994 TaskTracker

19887 JobTracker

Hbase进程:

 10554 HMaster

13447 HRegionServer

Zookeeper进程:

13393 QuorumPeerMain

分享到:
评论

相关推荐

    hadoop+hbase集群搭建 详细手册

    3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光服务器搭建集群,每台服务器的IP地址和主机名如下: | 主机名 | IP地址 | 安装的...

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    HadoopHbaseZookeeper集群配置

    9. **Hbase集群配置**:Hbase依赖于Hadoop的HDFS服务,需要在Hadoop集群配置的基础上,进一步配置Hbase的`hbase-site.xml`,指定Zookeeper的地址,以及其他相关参数。 10. **Zookeeper配置**:Zookeeper是Hadoop...

    Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    Zookeeper是Hadoop HA高可用集群中的一个关键组件,负责管理和协调集群中的各个节点。安装和配置Zookeeper需要下载和解压缩Zookeeper安装包,并配置zoo.cfg文件,指定数据目录和集群主机及端口等信息。 五、安装和...

    Hadoop Zookeeper HBase集群

    总结起来,"Hadoop Zookeeper HBase集群"是大数据处理的一种架构,通过Hadoop进行数据存储和处理,利用Zookeeper进行集群管理和协调,以及借助HBase实现大规模数据的实时查询。理解和熟练掌握这三个组件的原理和使用...

    hadoop+hbase+zookeeper集群配置流程及文件

    提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例,而`配置文件.rar`则可能包含了预设的配置模板,可以作为配置参考。在实际操作时,务必根据具体环境调整配置,确保所有节点之间的网络...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    - 在Hadoop集群运行的基础上安装HBase,确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务,包括Master和RegionServer。 3. **Spark**:...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...

    hadoop hbase 全jar包

    HBase的jar包则包含了HBase Server、HBase Client、Zookeeper等相关组件,使得开发者可以与HBase集群进行交互,执行CRUD(创建、读取、更新、删除)操作。 在实际使用中,开发者可能需要将这些jar包添加到类路径...

    Hadoop_hbase集群搭建.docx

    新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档

    徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

    综上所述,徐老师的大数据培训涵盖了目前最主流的大数据处理技术和工具,从基础的Hadoop到高级的Spark和Scala,再到集群管理和监控的Ambari,形成了一套完整的培训体系。这不仅能够帮助学员建立起扎实的大数据理论...

    hadoop-2.7.2-hbase-jar.tar.gz

    集成Hadoop和HBase时,通常会将HBase的JAR包添加到Hadoop的类路径中,确保Hadoop集群能够识别并处理HBase的相关操作。这个过程可能涉及到配置Hadoop的环境变量,如HADOOP_CLASSPATH,以及修改HBase的配置文件,如...

    hadoop+zookeeper+hbase集群搭建配置说明

    在搭建HBase集群时,我们需要配置HBase的主RegionServer(Master)、RegionServer实例以及与Zookeeper的连接。此外,还要设置表和列族的属性,如块大小、缓存设置等,以优化性能。 在实际搭建过程中,首先,你需要...

    hadoop+hbase集群安装

    本文详细介绍了如何在多台服务器上部署Hadoop + HBase集群的过程,包括了从基础环境配置到Hadoop和HBase的具体安装步骤。通过这些步骤,您可以成功地搭建起一个功能完备的分布式计算和存储平台,为大规模数据处理...

    监控HBase集群

    "监控HBase集群" HBase是一个分布式的NoSQL数据库,监控HBase集群对于确保系统的高可用性和性能非常重要。在这里,我们将讨论如何使用Java代码来实现HBase集群的监控。 监控HBase集群的重要性: 在生产系统中,...

    hadoop大数据集群,docker镜像地址.txt

    自己根据大数据需求搞的docker镜像,3台服务器,实现hadoop、hbase、phoenix、zookeeper、scala、kafka、hive、mysql集群环境,使用方便,快速搭建hadoop大数据集群环境,镜像拉取后可以通过一个脚本启动集群。

    搭建Hadoop+Hbase集群

    通过本文档,你将掌握搭建hadoop和hbase的方法,深入浅出,易学上手快。

    hadoop+hbase+hive集群搭建

    SSH无密码登录是集群内部通信的基础,通过`ssh-keygen`生成密钥对,并将公钥添加到每个节点的`.ssh/authorized_keys`文件中,确保了各节点间的无障碍通信,这对于自动化的集群管理和作业调度至关重要。 ### 6. JDK...

    hadoop hbase从入门到精通

    例如,在Amazon Web Services(AWS)上的HBase使用,或者通过Google Cloud Bigtable来托管HBase集群。 总之,《Hadoop之HBase从入门到精通》涵盖了从基础概念到高级实践的广泛内容,无论你是数据工程师、数据科学家...

    hadoop及hbase部署与应用

    - 包括下载和安装所需软件,配置Hadoop集群(包括配置文件、克隆系统、验证集群状态),部署和配置Hbase,运行MapReduce程序,以及使用Java API操作Hbase数据库。 通过这个实验,学生可以深入理解分布式计算和...

Global site tag (gtag.js) - Google Analytics