`
run_xiao
  • 浏览: 194024 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

HBase源码阅读-1-脚本

阅读更多

1.脚本    start-hbase.sh,hbase-daemon.sh,hbase-daemons.sh,zookeepers.sh,regionservers.sh,hbase,hbase-config.sh
1.1 hbase    hbase命令行入口,最终控制master,regionserver,zookeeper等启动或关闭
1.1.1 hbase shell
执行jruby脚本org.jruby.Main ${HBASE_HOME}/bin/hirb.rb,是hbase命令行接口

1.1.2 hbase master
执行类org.apache.hadoop.hbase.master.HMaster,启动或关闭HMaster

1.1.3 hbase regionserver
执行类org.apache.hadoop.hbase.regionserver.HRegionServer,启动或关闭RegionServer

1.1.4 hbase thrift
执行org.apache.hadoop.hbase.thrift.ThriftServer,启动或关闭thrift服务
注:Thrift是facebook发起的轻量级跨语言的服务框架,现在在apache基金会下。
支持很多语言。Thrift有一个与具体编程语言无关IDL 语言,用来描述服务接口,以及数据交换的格式,存储在.thrift文件中。
然后使用自带的编译器将thrift文件编译成cpp、python等语言的框架代码。

1.1.5 hbase avro
org.apache.hadoop.hbase.avro.AvroServer
Avro 是一个数据序列化系统。
Avro 提供了:
    * 丰富的数据结构。
    * 一个简约的、快速的、二进制数据格式。
    * 一个容器文件,用于存储持久数据。
    * 远程过程调用(RPC)。
    * 和其他动态语言的简单集成。存取数据文件或者使用 RPC 协议的时候不需要生成代码。代码生成只是作为静态类型语言的一个可选的优化项。

1.1.6 migrate
执行org.apache.hadoop.hbase.util.Migrate,貌似系统迁移的功能

1.1.7 zookeeper
执行org.apache.hadoop.hbase.zookeeper.HQuorumPeer,启动或关闭zookeeper服务

1.2 start-hbase.sh 启动hbase。先调用hbase-daemons.sh启动zookeeper,再调用hbase-daemon.sh启动master,最后调用hbase-daemons.sh启动regionserver

1.3 hbase-daemons.sh
执行regionservers.sh,从${HBASE_CONF_DIR}/regionservers读取regionserver列表,
ssh到每台host上调用其hbase-daemon.sh脚本,在后台启动regionserver;

执行zookeepers.sh,调用org.apache.hadoop.hbase.zookeeper.ZKServerTool从classpath下读取zoo.cfg中的server列表
sh到每台host上调用其hbase-daemon.sh脚本,在后台启动zookeeper;

1.4 hbase-daemon.sh
包装hbase master,regionserver,zookeeper等服务从后台启动

说了半天,其实核心的还是hbase脚本,所有功能最终都是调用的这个脚本

3
0
分享到:
评论

相关推荐

    hbase-0.98.6-cdh5.3.6.zip

    2. **bin目录**:包含可执行脚本,如启动和停止HBase服务的命令,以及用于管理表和操作数据的工具。 3. **conf目录**:提供默认配置文件,如hbase-site.xml,用户可以在此修改配置以适应自己的环境需求。 4. **lib...

    hbase-1.3.6-bin.tar.gz

    1. **bin**:存放可执行脚本,如启动和停止HBase的脚本,以及命令行工具。 2. **conf**:默认的配置文件,如hbase-site.xml用于配置HBase集群,regionservers指定哪些节点是RegionServer。 3. **lib**:包含HBase...

    hbase-1.3.2-bin.tar.gz

    1. `bin`目录:包含可执行脚本,如启动、停止HBase服务的命令。 2. `conf`目录:默认配置文件存放地,用户可以在此修改以适应自己的环境。 3. `lib`目录:HBase依赖的库文件,包括Java类库和其他必要的软件包。 4. `...

    hbase-1.7.0-bin.tar.gz

    1. **bin目录**:包含了启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及用于执行HBase命令行工具的可执行文件。 2. **conf目录**:这是存放HBase配置文件的地方,如`hbase-site.xml`,在...

    hbase-1.2.6-bin-Centos6.10.tar.gz

    1. **bin**:这个目录包含用于启动、停止HBase的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及管理HBase的命令行工具。 2. **conf**:这是配置文件的存放位置,包括`hbase-site.xml`,它是HBase的主要配置文件...

    hbase-1.1.2-bin及使用说明

    1. **bin** 目录:包含启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`。 2. **conf** 目录:配置文件存放处,如`hbase-site.xml`用于设置HBase的配置参数。 3. **lib** 目录:HBase运行所需的库...

    hbase-1.4.12-src.tar.gz

    5. **构建脚本**:如`build.gradle`或`pom.xml`,这是构建HBase的脚本,使用Gradle或Maven管理依赖和构建过程。 6. **资源文件**:如日志配置、国际化语言文件等,它们在运行时对HBase的正常运行至关重要。 7. **...

    hbase-0.94脚本hbase在cygwin的环境的bug

    1. **路径处理**:HBase使用Unix风格的路径(/)进行操作,而Cygwin则需要适当地转换这些路径为Windows格式(\)。不正确的路径处理可能导致文件或目录找不到的错误。 2. **权限问题**:Cygwin模拟的Unix权限模型...

    Hadoop2.4.1上自编译安装HBase0.98.5

    2. 配置环境:修改`dev-support/generate-hadoopX-poms.sh`脚本,将`hbase_home`变量设置为实际的HBase源码目录。 3. 更新Hadoop依赖:编辑`pom.xml`文件,将`<hadoop-two.version>`从2.2.0改为2.4.1,以匹配你的...

    hbase 数据库

    在这个“hbase 安装包”中,包含的文件“hbase-1.2.1”可能是HBase的特定版本,如1.2.1版的源码或二进制发行包。 安装HBase涉及以下几个关键步骤: 1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是...

    phillycrime-springboot-phoenix:Apache Phoenix-Apache HBase-SpringBoot-Philly犯罪数据

    项目的源代码文件"phillycrime-springboot-phoenix-master"包含整个项目的所有源码,这通常包括配置文件、Java源代码、Maven或Gradle构建脚本以及任何必要的资源文件。开发者可以下载这个压缩包,解压后在本地环境中...

    Hbase 安装与基本使用

    1. **启动HBase**:在命令行中,使用`start-hbase.sh`脚本启动HBase集群。如果是单机模式,可以使用`start-hbase.sh --nonInteractive`避免交互式确认。 2. **检查状态**:通过`hbase zkcli -server localhost:2181`...

    hbase+opentsdb+grafana视图展现

    - 编辑`/etc/init.d/hbase-master`脚本,并设置`HBASE_HOME`环境变量: ```bash vim /etc/init.d/hbase-master export HBASE_HOME="/usr/hdp/2.6.3.0-235/hbase" ``` **6. 启动 Zookeeper 和 HBase 集群** ...

    python操作hbase

    例如,以下是一个简单的Python脚本,展示如何连接到HBase并创建表: ```python from hbase import Hbase from thrift import Thrift from thrift.transport import TSocket from thrift.transport import ...

    zookeeper和hbase相关安装包及安装手册

    对于HBase,解压后会得到包含bin、conf、lib等目录的文件结构,其中bin目录下的脚本用于启动和管理HBase服务,conf目录存放配置文件,lib目录则包含运行所需的依赖库。 在学习和使用这两个组件时,了解它们的基础...

    Hbase权威指南随书源代码源码包

    5. 性能调优:提供性能测试脚本和调优建议,帮助读者优化HBase的运行效率。 6. 故障排查:可能包含一些错误案例和解决方案,以便读者在遇到问题时能快速定位和解决。 通过研究这些源码,读者可以了解到HBase的内部...

    《HBase权威指南》示例代码

    1. **示例代码**:可能包含多个Java或Shell脚本,演示如何创建表、插入数据、查询数据、管理表结构等基本操作,以及高级特性如Region分裂、Compaction和Bulk Load。 2. **配置文件**:HBase的配置文件(如hbase-...

    通过thrift使用c++访问hbase

    1. **验证HBase和ThriftServer状态**: 确保HBase正常工作,检查thriftserver的9090端口是否在监听,如需启动ThriftServer,可以使用`bin/hbase-daemon.sh start thrift`命令。 2. **编写和编译测试程序**: 创建一个...

Global site tag (gtag.js) - Google Analytics