简单介绍hadoop1.0、hbase的进程及其启动、关闭等管理
主要参考官网的帮助文档:
Hadoop集群的部署及使用:http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html
hadoop集群的常用管理:http://hadoop.apache.org/docs/r1.2.1/commands_manual.html
hadoop分布式文件系统命令:http://hadoop.apache.org/docs/r1.2.1/file_system_shell.html
hbase集群部署及使用:http://hbase.apache.org/book/quickstart.html
版本如下:hadoop-1.2.1、hbase-0.94.18、zookeeper-3.4.5
一、启动服务
注:建议按顺序启动服务:1、hadoop;2、zookeeper;3、hbase;
1、启动hadoop
hadoop@hhx073:~$ ./hadoop-1.2.1/bin/start-all.sh
2、启动zookeeper
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh start"
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh start"
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh start"
3、启动hbase
hadoop@hhx073:~$ ./hbase-0.94.18/bin/start-hbase.sh
二、关闭服务
注:必须按顺序关闭服务:1、hbase;2、zookeeper;3、hadoop;
1、关闭hbase
hadoop@hhx073:~$ ./hbase-0.94.18/bin/stop-hbase.sh
2、关闭zookeeper
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx074 "zookeeper-3.4.5/bin/zkServer.sh stop"
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx075 "zookeeper-3.4.5/bin/zkServer.sh stop"
hadoop@hhx073:~$ ssh -p 9413 hadoop@hhx076 "zookeeper-3.4.5/bin/zkServer.sh stop"
3、关闭hadoop
hadoop@hhx073:~$ ./hadoop-1.2.1/bin/stop-all.sh
三、集群检查
可以通过下面两种方式,来检查集群启动及工作是否正常。如果存在异常,必须通过相应的日志来定位异常问题。
1、查看集群的管理页面
在浏览器中打开下面URL地址,通过页面内容检查集群是否正常。
Hadoop:
http://hhx073:50030/
Hbase:
http://hhx073:60010/master-status
2、查看后台进程
一般如果正常启动hadoop、hbase、zookeeper,我们可以在hadoop服务器上通过jps命令查看相应的守护进程
hadoop@hhx247:~$ jps
相关进程说明 Hadoop hdfs进程: 19803 SecondaryNameNode 19571 NameNode 19672 DataNode Hadoop mapreduce进程: |
19994 TaskTracker
19887 JobTracker
Hbase进程:
10554 HMaster
13447 HRegionServer
Zookeeper进程:
13393 QuorumPeerMain
相关推荐
3. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理Hadoop和HBase集群。 二、机器集群结构分布 在本文中,我们将使用8台曙光服务器搭建集群,每台服务器的IP地址和主机名如下: | 主机名 | IP地址 | 安装的...
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
9. **Hbase集群配置**:Hbase依赖于Hadoop的HDFS服务,需要在Hadoop集群配置的基础上,进一步配置Hbase的`hbase-site.xml`,指定Zookeeper的地址,以及其他相关参数。 10. **Zookeeper配置**:Zookeeper是Hadoop...
Zookeeper是Hadoop HA高可用集群中的一个关键组件,负责管理和协调集群中的各个节点。安装和配置Zookeeper需要下载和解压缩Zookeeper安装包,并配置zoo.cfg文件,指定数据目录和集群主机及端口等信息。 五、安装和...
总结起来,"Hadoop Zookeeper HBase集群"是大数据处理的一种架构,通过Hadoop进行数据存储和处理,利用Zookeeper进行集群管理和协调,以及借助HBase实现大规模数据的实时查询。理解和熟练掌握这三个组件的原理和使用...
提供的文档`hadoop_zookeeper_hbase集群配置.docx`应包含详细的步骤和配置示例,而`配置文件.rar`则可能包含了预设的配置模板,可以作为配置参考。在实际操作时,务必根据具体环境调整配置,确保所有节点之间的网络...
- 在Hadoop集群运行的基础上安装HBase,确保Hadoop的相关环境变量被HBase使用。 - 配置HBase的`hbase-site.xml`以指定Zookeeper地址和集群模式。 - 启动HBase服务,包括Master和RegionServer。 3. **Spark**:...
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展,海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架,被广泛应用于各类场景之中。然而,在...
HBase的jar包则包含了HBase Server、HBase Client、Zookeeper等相关组件,使得开发者可以与HBase集群进行交互,执行CRUD(创建、读取、更新、删除)操作。 在实际使用中,开发者可能需要将这些jar包添加到类路径...
新手Hadoop_hbase集群搭建,3台服务器节点Centos7,Hadoop2.7.4,HBase1.3.1,jdk8,zookpeer3.4.10 安装包也将上传,亲手搭建编写文档
综上所述,徐老师的大数据培训涵盖了目前最主流的大数据处理技术和工具,从基础的Hadoop到高级的Spark和Scala,再到集群管理和监控的Ambari,形成了一套完整的培训体系。这不仅能够帮助学员建立起扎实的大数据理论...
集成Hadoop和HBase时,通常会将HBase的JAR包添加到Hadoop的类路径中,确保Hadoop集群能够识别并处理HBase的相关操作。这个过程可能涉及到配置Hadoop的环境变量,如HADOOP_CLASSPATH,以及修改HBase的配置文件,如...
在搭建HBase集群时,我们需要配置HBase的主RegionServer(Master)、RegionServer实例以及与Zookeeper的连接。此外,还要设置表和列族的属性,如块大小、缓存设置等,以优化性能。 在实际搭建过程中,首先,你需要...
本文详细介绍了如何在多台服务器上部署Hadoop + HBase集群的过程,包括了从基础环境配置到Hadoop和HBase的具体安装步骤。通过这些步骤,您可以成功地搭建起一个功能完备的分布式计算和存储平台,为大规模数据处理...
"监控HBase集群" HBase是一个分布式的NoSQL数据库,监控HBase集群对于确保系统的高可用性和性能非常重要。在这里,我们将讨论如何使用Java代码来实现HBase集群的监控。 监控HBase集群的重要性: 在生产系统中,...
自己根据大数据需求搞的docker镜像,3台服务器,实现hadoop、hbase、phoenix、zookeeper、scala、kafka、hive、mysql集群环境,使用方便,快速搭建hadoop大数据集群环境,镜像拉取后可以通过一个脚本启动集群。
通过本文档,你将掌握搭建hadoop和hbase的方法,深入浅出,易学上手快。
SSH无密码登录是集群内部通信的基础,通过`ssh-keygen`生成密钥对,并将公钥添加到每个节点的`.ssh/authorized_keys`文件中,确保了各节点间的无障碍通信,这对于自动化的集群管理和作业调度至关重要。 ### 6. JDK...
例如,在Amazon Web Services(AWS)上的HBase使用,或者通过Google Cloud Bigtable来托管HBase集群。 总之,《Hadoop之HBase从入门到精通》涵盖了从基础概念到高级实践的广泛内容,无论你是数据工程师、数据科学家...
- 包括下载和安装所需软件,配置Hadoop集群(包括配置文件、克隆系统、验证集群状态),部署和配置Hbase,运行MapReduce程序,以及使用Java API操作Hbase数据库。 通过这个实验,学生可以深入理解分布式计算和...