`
run_xiao
  • 浏览: 195414 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

HBase源码阅读-1-脚本

阅读更多

1.脚本    start-hbase.sh,hbase-daemon.sh,hbase-daemons.sh,zookeepers.sh,regionservers.sh,hbase,hbase-config.sh
1.1 hbase    hbase命令行入口,最终控制master,regionserver,zookeeper等启动或关闭
1.1.1 hbase shell
执行jruby脚本org.jruby.Main ${HBASE_HOME}/bin/hirb.rb,是hbase命令行接口

1.1.2 hbase master
执行类org.apache.hadoop.hbase.master.HMaster,启动或关闭HMaster

1.1.3 hbase regionserver
执行类org.apache.hadoop.hbase.regionserver.HRegionServer,启动或关闭RegionServer

1.1.4 hbase thrift
执行org.apache.hadoop.hbase.thrift.ThriftServer,启动或关闭thrift服务
注:Thrift是facebook发起的轻量级跨语言的服务框架,现在在apache基金会下。
支持很多语言。Thrift有一个与具体编程语言无关IDL 语言,用来描述服务接口,以及数据交换的格式,存储在.thrift文件中。
然后使用自带的编译器将thrift文件编译成cpp、python等语言的框架代码。

1.1.5 hbase avro
org.apache.hadoop.hbase.avro.AvroServer
Avro 是一个数据序列化系统。
Avro 提供了:
    * 丰富的数据结构。
    * 一个简约的、快速的、二进制数据格式。
    * 一个容器文件,用于存储持久数据。
    * 远程过程调用(RPC)。
    * 和其他动态语言的简单集成。存取数据文件或者使用 RPC 协议的时候不需要生成代码。代码生成只是作为静态类型语言的一个可选的优化项。

1.1.6 migrate
执行org.apache.hadoop.hbase.util.Migrate,貌似系统迁移的功能

1.1.7 zookeeper
执行org.apache.hadoop.hbase.zookeeper.HQuorumPeer,启动或关闭zookeeper服务

1.2 start-hbase.sh 启动hbase。先调用hbase-daemons.sh启动zookeeper,再调用hbase-daemon.sh启动master,最后调用hbase-daemons.sh启动regionserver

1.3 hbase-daemons.sh
执行regionservers.sh,从${HBASE_CONF_DIR}/regionservers读取regionserver列表,
ssh到每台host上调用其hbase-daemon.sh脚本,在后台启动regionserver;

执行zookeepers.sh,调用org.apache.hadoop.hbase.zookeeper.ZKServerTool从classpath下读取zoo.cfg中的server列表
sh到每台host上调用其hbase-daemon.sh脚本,在后台启动zookeeper;

1.4 hbase-daemon.sh
包装hbase master,regionserver,zookeeper等服务从后台启动

说了半天,其实核心的还是hbase脚本,所有功能最终都是调用的这个脚本

3
0
分享到:
评论

相关推荐

    hbase-0.98.6-cdh5.3.6.zip

    2. **bin目录**:包含可执行脚本,如启动和停止HBase服务的命令,以及用于管理表和操作数据的工具。 3. **conf目录**:提供默认配置文件,如hbase-site.xml,用户可以在此修改配置以适应自己的环境需求。 4. **lib...

    hbase-1.3.2-bin.tar.gz

    1. `bin`目录:包含可执行脚本,如启动、停止HBase服务的命令。 2. `conf`目录:默认配置文件存放地,用户可以在此修改以适应自己的环境。 3. `lib`目录:HBase依赖的库文件,包括Java类库和其他必要的软件包。 4. `...

    hbase-1.3.6-bin.tar.gz

    1. **bin**:存放可执行脚本,如启动和停止HBase的脚本,以及命令行工具。 2. **conf**:默认的配置文件,如hbase-site.xml用于配置HBase集群,regionservers指定哪些节点是RegionServer。 3. **lib**:包含HBase...

    hbase-1.7.0-bin.tar.gz

    1. **bin目录**:包含了启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及用于执行HBase命令行工具的可执行文件。 2. **conf目录**:这是存放HBase配置文件的地方,如`hbase-site.xml`,在...

    hbase-1.2.6-bin-Centos6.10.tar.gz

    1. **bin**:这个目录包含用于启动、停止HBase的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及管理HBase的命令行工具。 2. **conf**:这是配置文件的存放位置,包括`hbase-site.xml`,它是HBase的主要配置文件...

    hbase-1.1.2-bin及使用说明

    1. **bin** 目录:包含启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`。 2. **conf** 目录:配置文件存放处,如`hbase-site.xml`用于设置HBase的配置参数。 3. **lib** 目录:HBase运行所需的库...

    hbase-1.4.12-src.tar.gz

    5. **构建脚本**:如`build.gradle`或`pom.xml`,这是构建HBase的脚本,使用Gradle或Maven管理依赖和构建过程。 6. **资源文件**:如日志配置、国际化语言文件等,它们在运行时对HBase的正常运行至关重要。 7. **...

    hbase-0.94脚本hbase在cygwin的环境的bug

    1. **路径处理**:HBase使用Unix风格的路径(/)进行操作,而Cygwin则需要适当地转换这些路径为Windows格式(\)。不正确的路径处理可能导致文件或目录找不到的错误。 2. **权限问题**:Cygwin模拟的Unix权限模型...

    Hadoop2.4.1上自编译安装HBase0.98.5

    2. 配置环境:修改`dev-support/generate-hadoopX-poms.sh`脚本,将`hbase_home`变量设置为实际的HBase源码目录。 3. 更新Hadoop依赖:编辑`pom.xml`文件,将`<hadoop-two.version>`从2.2.0改为2.4.1,以匹配你的...

    hbase 数据库

    在这个“hbase 安装包”中,包含的文件“hbase-1.2.1”可能是HBase的特定版本,如1.2.1版的源码或二进制发行包。 安装HBase涉及以下几个关键步骤: 1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是...

    phillycrime-springboot-phoenix:Apache Phoenix-Apache HBase-SpringBoot-Philly犯罪数据

    项目的源代码文件"phillycrime-springboot-phoenix-master"包含整个项目的所有源码,这通常包括配置文件、Java源代码、Maven或Gradle构建脚本以及任何必要的资源文件。开发者可以下载这个压缩包,解压后在本地环境中...

    Hbase 安装与基本使用

    1. **启动HBase**:在命令行中,使用`start-hbase.sh`脚本启动HBase集群。如果是单机模式,可以使用`start-hbase.sh --nonInteractive`避免交互式确认。 2. **检查状态**:通过`hbase zkcli -server localhost:2181`...

    基于HydraQL的hbase-sdk设计源码迁移与维护更新

    该项目是对hbase-sdk进行源码迁移至HydraQL的设计,涉及812个文件,包括420个Ruby脚本、333个Java源文件、28个XML配置文件、8个Shell脚本、5个Grammar文件、5个属性文件、2个JAR包、2个Token文件、2个YAML文件以及1...

    hbase+opentsdb+grafana视图展现

    - 编辑`/etc/init.d/hbase-master`脚本,并设置`HBASE_HOME`环境变量: ```bash vim /etc/init.d/hbase-master export HBASE_HOME="/usr/hdp/2.6.3.0-235/hbase" ``` **6. 启动 Zookeeper 和 HBase 集群** ...

    基于Java语言的HBase分布式数据库设计源码分析

    本项目为基于Java语言的HBase分布式数据库设计源码,包含5415个文件,涵盖了4575个Java源文件、223个Ruby脚本、118个XML配置文件、68个Protocol Buffers文件、64个AsciiDoc文件、49个Shell脚本、41个PNG图像文件、29...

    基于Java语言的Hbase基础学习与实践设计源码

    本项目为Java语言的Hbase基础学习与实践设计源码,包含35个文件,涵盖13个Java源文件、4个JavaScript文件、3个属性文件、3个JSON文件、2个SVG文件、2个Git忽略文件、1个JAR包文件、1个Hbase Server的mvnw脚本以及1个...

    基于Apache HBase的Java实现设计源码镜像

    本项目为Apache HBase的Java实现设计源码镜像,包含4981个文件,主要涵盖4134个Java源文件,辅以Ruby脚本、Shell脚本、C/C++、Python、CSS、HTML、JavaScript等语言编写的辅助文件。其中,XML配置文件96个,Proto...

    python操作hbase

    例如,以下是一个简单的Python脚本,展示如何连接到HBase并创建表: ```python from hbase import Hbase from thrift import Thrift from thrift.transport import TSocket from thrift.transport import ...

Global site tag (gtag.js) - Google Analytics