`
run_xiao
  • 浏览: 196650 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

HBase源码阅读-1-脚本

阅读更多

1.脚本    start-hbase.sh,hbase-daemon.sh,hbase-daemons.sh,zookeepers.sh,regionservers.sh,hbase,hbase-config.sh
1.1 hbase    hbase命令行入口,最终控制master,regionserver,zookeeper等启动或关闭
1.1.1 hbase shell
执行jruby脚本org.jruby.Main ${HBASE_HOME}/bin/hirb.rb,是hbase命令行接口

1.1.2 hbase master
执行类org.apache.hadoop.hbase.master.HMaster,启动或关闭HMaster

1.1.3 hbase regionserver
执行类org.apache.hadoop.hbase.regionserver.HRegionServer,启动或关闭RegionServer

1.1.4 hbase thrift
执行org.apache.hadoop.hbase.thrift.ThriftServer,启动或关闭thrift服务
注:Thrift是facebook发起的轻量级跨语言的服务框架,现在在apache基金会下。
支持很多语言。Thrift有一个与具体编程语言无关IDL 语言,用来描述服务接口,以及数据交换的格式,存储在.thrift文件中。
然后使用自带的编译器将thrift文件编译成cpp、python等语言的框架代码。

1.1.5 hbase avro
org.apache.hadoop.hbase.avro.AvroServer
Avro 是一个数据序列化系统。
Avro 提供了:
    * 丰富的数据结构。
    * 一个简约的、快速的、二进制数据格式。
    * 一个容器文件,用于存储持久数据。
    * 远程过程调用(RPC)。
    * 和其他动态语言的简单集成。存取数据文件或者使用 RPC 协议的时候不需要生成代码。代码生成只是作为静态类型语言的一个可选的优化项。

1.1.6 migrate
执行org.apache.hadoop.hbase.util.Migrate,貌似系统迁移的功能

1.1.7 zookeeper
执行org.apache.hadoop.hbase.zookeeper.HQuorumPeer,启动或关闭zookeeper服务

1.2 start-hbase.sh 启动hbase。先调用hbase-daemons.sh启动zookeeper,再调用hbase-daemon.sh启动master,最后调用hbase-daemons.sh启动regionserver

1.3 hbase-daemons.sh
执行regionservers.sh,从${HBASE_CONF_DIR}/regionservers读取regionserver列表,
ssh到每台host上调用其hbase-daemon.sh脚本,在后台启动regionserver;

执行zookeepers.sh,调用org.apache.hadoop.hbase.zookeeper.ZKServerTool从classpath下读取zoo.cfg中的server列表
sh到每台host上调用其hbase-daemon.sh脚本,在后台启动zookeeper;

1.4 hbase-daemon.sh
包装hbase master,regionserver,zookeeper等服务从后台启动

说了半天,其实核心的还是hbase脚本,所有功能最终都是调用的这个脚本

3
0
分享到:
评论

相关推荐

    hbase-1.2.1-bin.tar.gz.zip

    这个目录结构中,`bin`目录包含了运行HBase的脚本,如启动和停止HBase的命令;`conf`目录存放配置文件,用户可以根据自己的环境进行定制;`lib`目录包含HBase运行所需的依赖库;`docs`则包含了相关的文档资料。 ...

    hbase-0.98.6-cdh5.3.6.zip

    2. **bin目录**:包含可执行脚本,如启动和停止HBase服务的命令,以及用于管理表和操作数据的工具。 3. **conf目录**:提供默认配置文件,如hbase-site.xml,用户可以在此修改配置以适应自己的环境需求。 4. **lib...

    hbase-1.3.2-bin.tar.gz

    1. `bin`目录:包含可执行脚本,如启动、停止HBase服务的命令。 2. `conf`目录:默认配置文件存放地,用户可以在此修改以适应自己的环境。 3. `lib`目录:HBase依赖的库文件,包括Java类库和其他必要的软件包。 4. `...

    hbase-1.3.6-bin.tar.gz

    1. **bin**:存放可执行脚本,如启动和停止HBase的脚本,以及命令行工具。 2. **conf**:默认的配置文件,如hbase-site.xml用于配置HBase集群,regionservers指定哪些节点是RegionServer。 3. **lib**:包含HBase...

    hbase-1.7.0-bin.tar.gz

    1. **bin目录**:包含了启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及用于执行HBase命令行工具的可执行文件。 2. **conf目录**:这是存放HBase配置文件的地方,如`hbase-site.xml`,在...

    hbase-1.2.6-bin-Centos6.10.tar.gz

    1. **bin**:这个目录包含用于启动、停止HBase的脚本,如`start-hbase.sh`和`stop-hbase.sh`,以及管理HBase的命令行工具。 2. **conf**:这是配置文件的存放位置,包括`hbase-site.xml`,它是HBase的主要配置文件...

    hbase-1.1.2-bin及使用说明

    1. **bin** 目录:包含启动、停止HBase服务的脚本,如`start-hbase.sh`和`stop-hbase.sh`。 2. **conf** 目录:配置文件存放处,如`hbase-site.xml`用于设置HBase的配置参数。 3. **lib** 目录:HBase运行所需的库...

    hbase-1.4.12-src.tar.gz

    5. **构建脚本**:如`build.gradle`或`pom.xml`,这是构建HBase的脚本,使用Gradle或Maven管理依赖和构建过程。 6. **资源文件**:如日志配置、国际化语言文件等,它们在运行时对HBase的正常运行至关重要。 7. **...

    基于HydraQL的hbase-sdk设计源码迁移与维护更新

    基于HydraQL的hbase-sdk设计源码迁移与维护更新项目,不仅仅是对传统HBase操作方式的一种简化,更是对大数据处理能力的一次技术革新。它不仅提高了开发效率,还可能引领HBase操作的未来发展趋势,为处理大规模数据集...

    hbase-0.94脚本hbase在cygwin的环境的bug

    1. **路径处理**:HBase使用Unix风格的路径(/)进行操作,而Cygwin则需要适当地转换这些路径为Windows格式(\)。不正确的路径处理可能导致文件或目录找不到的错误。 2. **权限问题**:Cygwin模拟的Unix权限模型...

    Hadoop2.4.1上自编译安装HBase0.98.5

    2. 配置环境:修改`dev-support/generate-hadoopX-poms.sh`脚本,将`hbase_home`变量设置为实际的HBase源码目录。 3. 更新Hadoop依赖:编辑`pom.xml`文件,将`<hadoop-two.version>`从2.2.0改为2.4.1,以匹配你的...

    hbase 数据库

    在这个“hbase 安装包”中,包含的文件“hbase-1.2.1”可能是HBase的特定版本,如1.2.1版的源码或二进制发行包。 安装HBase涉及以下几个关键步骤: 1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是...

    基于Java开发的分布式NoSQL数据库HBase设计源码分析

    除了Java,项目中还使用了其他编程语言和技术,Ruby脚本的使用主要用于自动化部署和管理任务,XML配置文件则负责系统的配置管理,Protobuf定义文件体现了HBase内部使用Protocol Buffers进行数据序列化的机制。...

    基于Java语言的Apache HBase数据库设计源码分析

    在深入分析基于Java语言的Apache HBase数据库设计源码之前,我们首先需要理解HBase作为NoSQL数据库系统的核心概念和设计哲学。HBase是构建在Hadoop文件系统(HDFS)上的一个开源、分布式的列式存储数据库。它模仿了...

    phillycrime-springboot-phoenix:Apache Phoenix-Apache HBase-SpringBoot-Philly犯罪数据

    项目的源代码文件"phillycrime-springboot-phoenix-master"包含整个项目的所有源码,这通常包括配置文件、Java源代码、Maven或Gradle构建脚本以及任何必要的资源文件。开发者可以下载这个压缩包,解压后在本地环境中...

    Hbase 安装与基本使用

    1. **启动HBase**:在命令行中,使用`start-hbase.sh`脚本启动HBase集群。如果是单机模式,可以使用`start-hbase.sh --nonInteractive`避免交互式确认。 2. **检查状态**:通过`hbase zkcli -server localhost:2181`...

    基于Apache HBase的Java实现设计源码镜像

    在本文中,我们将详细介绍一个特定项目——“基于Apache HBase的Java实现设计源码镜像”,该项目为Apache HBase提供了全面的Java实现,包含众多文件类型,能够为开发者和维护者提供重要的源码支持。 首先,该项目...

    基于Java语言的HBase分布式数据库设计源码分析

    此外,项目中还包含Ruby脚本、XML配置文件等,这些脚本和配置文件在HBase的日常部署和运维中扮演着关键角色。 Protocol Buffers是Google开发的一种数据描述语言,用于序列化结构化数据,类似于XML或JSON,但它更小...

    基于Java实现的Apache HBase分布式数据库设计源码分析

    该项目的文件结构和内容表明它是一个对HBase内部结构和工作机制进行了深入分析的源码优化项目。该项目不仅能够帮助开发者更好地理解HBase的内部工作原理,而且可以为分布式数据库的研究和应用提供重要的参考,尤其在...

    hbase+opentsdb+grafana视图展现

    - 编辑`/etc/init.d/hbase-master`脚本,并设置`HBASE_HOME`环境变量: ```bash vim /etc/init.d/hbase-master export HBASE_HOME="/usr/hdp/2.6.3.0-235/hbase" ``` **6. 启动 Zookeeper 和 HBase 集群** ...

Global site tag (gtag.js) - Google Analytics