`
bit1129
  • 浏览: 1067913 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【HBase九】HBase架构

 
阅读更多

1. Zookeeper Dump

访问HBase的web页面：http://192.168.26.140:16030/zk.jsp

 

HBase is rooted at /hbase
Active master address: hadoop.master,16020,1428562242762
Backup master addresses:
Region server holding hbase:meta: hadoop.master,16201,1428562244095
Region servers:
 hadoop.master,16201,1428562244095
/hbase/replication: 
/hbase/replication/peers: 
/hbase/replication/rs: 
/hbase/replication/rs/hadoop.master,16201,1428562244095: 
Quorum Server Statistics:
 localhost:2181
  Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT
  Clients:
   /127.0.0.1:47168[1](queued=0,recved=2916,sent=2920)
   /127.0.0.1:47251[1](queued=0,recved=2752,sent=2752)
   /0:0:0:0:0:0:0:1:46915[1](queued=0,recved=2753,sent=2753)
   /0:0:0:0:0:0:0:1:46907[1](queued=0,recved=2763,sent=2763)
   /0:0:0:0:0:0:0:1:47060[1](queued=0,recved=2717,sent=2717)
   /127.0.0.1:47173[1](queued=0,recved=2754,sent=2754)
   /127.0.0.1:47174[1](queued=0,recved=3310,sent=3310)
   /127.0.0.1:47167[1](queued=0,recved=7394,sent=7465)
   /127.0.0.1:54521[1](queued=0,recved=33,sent=33)
   /127.0.0.1:47172[1](queued=0,recved=2753,sent=2753)
   /127.0.0.1:54583[0](queued=0,recved=1,sent=0)
  
  Latency min/avg/max: 0/0/790
  Received: 30227
  Sent: 30301
  Connections: 11
  Outstanding: 0
  Zxid: 0xe5
  Mode: standalone
  Node count: 45

 

1.包含的信息：HBase在Zookeeper中的根目录：/hbase

2.Master地址：hadoop.master,16020,1428562242762(域名，端口和启动的时间戳)

3. meta表所在的Region Server：hadoop.master,16201,1428562244095(域名，端口和启动的时间戳)

4. HBase集群包含的Region Servers：这里是一个Standalone集群，因此只有一个：hadoop.master,16201,1428562244095（同时也是meta表所在的Region Server）

 

2. meta表包含的信息

hbase命令行上执行如下命令，打印meta表的所有的数据

 

hbase(main):021:0> scan 'hbase:meta'
ROW                                 COLUMN+CELL                                                                                            
 hbase:namespace,,1426129053122.2e6 column=info:regioninfo, timestamp=1426129054266, value={ENCODED => 2e6738351085a34e0b83933c9dbe98b6, NA
 738351085a34e0b83933c9dbe98b6.     ME => 'hbase:namespace,,1426129053122.2e6738351085a34e0b83933c9dbe98b6.', STARTKEY => '', ENDKEY => ''}
 hbase:namespace,,1426129053122.2e6 column=info:seqnumDuringOpen, timestamp=1428562261802, value=\x00\x00\x00\x00\x00\x00\x00\x0C          
 738351085a34e0b83933c9dbe98b6.                                                                                                            
 hbase:namespace,,1426129053122.2e6 column=info:server, timestamp=1428562261802, value=hadoop.master:16201                                 
 738351085a34e0b83933c9dbe98b6.                                                                                                            
 hbase:namespace,,1426129053122.2e6 column=info:serverstartcode, timestamp=1428562261802, value=1428562244095                              
 738351085a34e0b83933c9dbe98b6.                                                                                                            



 //手工添加注释：行table3,,1428632308630.bb738e209c3b4d5833bb123549b324c3. 列族info 列:regioninfo, seqnumDuringOpen,server,serverstartcode
 //关注regioninfo列，STARTKEY和ENDKEY，表示该Region的起止RowKey范围
 //table3的第一个Region(0-300)
 table3,,1428632308630.bb738e209c3b column=info:regioninfo, timestamp=1428632310195, value={ENCODED => bb738e209c3b4d5833bb123549b324c3, NA
 4d5833bb123549b324c3.              ME => 'table3,,1428632308630.bb738e209c3b4d5833bb123549b324c3.', STARTKEY => '', ENDKEY => 'row-300'}  
 table3,,1428632308630.bb738e209c3b column=info:seqnumDuringOpen, timestamp=1428632313497, value=\x00\x00\x00\x00\x00\x00\x00\x02          
 4d5833bb123549b324c3.                                                                                                                     
 table3,,1428632308630.bb738e209c3b column=info:server, timestamp=1428632313497, value=hadoop.master:16201                                 
 4d5833bb123549b324c3.                                                                                                                     
 table3,,1428632308630.bb738e209c3b column=info:serverstartcode, timestamp=1428632313497, value=1428562244095                              
 4d5833bb123549b324c3.  

 //关注regioninfo列，STARTKEY和ENDKEY，表示该Region的起止RowKey范围
 //table3的第二个Region(300-500)
 table3,row-300,1428632308630.2cf83 column=info:regioninfo, timestamp=1428632310195, value={ENCODED => 2cf837baf289fb122c82d77214562c0a, NA
 7baf289fb122c82d77214562c0a.       ME => 'table3,row-300,1428632308630.2cf837baf289fb122c82d77214562c0a.', STARTKEY => 'row-300', ENDKEY =
                                    > 'row-500'}                                                                                           
 table3,row-300,1428632308630.2cf83 column=info:seqnumDuringOpen, timestamp=1428632313425, value=\x00\x00\x00\x00\x00\x00\x00\x02          
 7baf289fb122c82d77214562c0a.                                                                                                              
 table3,row-300,1428632308630.2cf83 column=info:server, timestamp=1428632313425, value=hadoop.master:16201                                 
 7baf289fb122c82d77214562c0a.                                                                                                              
 table3,row-300,1428632308630.2cf83 column=info:serverstartcode, timestamp=1428632313425, value=1428562244095                              
 7baf289fb122c82d77214562c0a.  

 //关注regioninfo列，STARTKEY和ENDKEY，表示该Region的起止RowKey范围
 //table3的第三个Region(500-700)
 table3,row-500,1428632308630.1fa2e column=info:regioninfo, timestamp=1428632310195, value={ENCODED => 1fa2e49c7404d3cd39afc39a99cc1c26, NA
 49c7404d3cd39afc39a99cc1c26.       ME => 'table3,row-500,1428632308630.1fa2e49c7404d3cd39afc39a99cc1c26.', STARTKEY => 'row-500', ENDKEY =
                                    > 'row-700'}                                                                                           
 table3,row-500,1428632308630.1fa2e column=info:seqnumDuringOpen, timestamp=1428632312856, value=\x00\x00\x00\x00\x00\x00\x00\x02          
 49c7404d3cd39afc39a99cc1c26.                                                                                                              
 table3,row-500,1428632308630.1fa2e column=info:server, timestamp=1428632312856, value=hadoop.master:16201                                 
 49c7404d3cd39afc39a99cc1c26.                                                                                                              
 table3,row-500,1428632308630.1fa2e column=info:serverstartcode, timestamp=1428632312856, value=1428562244095                              
 49c7404d3cd39afc39a99cc1c26.                                                                                                              
 
 //关注regioninfo列，STARTKEY和ENDKEY，表示该Region的起止RowKey范围
 //table3的第四个Region(700-900)
 table3,row-700,1428632308630.1d3d6 column=info:regioninfo, timestamp=1428632310195, value={ENCODED => 1d3d6e64741683e551e5b8d0722d7ff9, NA
 e64741683e551e5b8d0722d7ff9.       ME => 'table3,row-700,1428632308630.1d3d6e64741683e551e5b8d0722d7ff9.', STARTKEY => 'row-700', ENDKEY =
                                    > 'row-900'}                                                                                           
 table3,row-700,1428632308630.1d3d6 column=info:seqnumDuringOpen, timestamp=1428632312817, value=\x00\x00\x00\x00\x00\x00\x00\x02          
 e64741683e551e5b8d0722d7ff9.                                                                                                              
 table3,row-700,1428632308630.1d3d6 column=info:server, timestamp=1428632312817, value=hadoop.master:16201                                 
 e64741683e551e5b8d0722d7ff9.                                                                                                              
 table3,row-700,1428632308630.1d3d6 column=info:serverstartcode, timestamp=1428632312817, value=1428562244095                              
 e64741683e551e5b8d0722d7ff9.                                                                                                              
 
 //关注regioninfo列，STARTKEY和ENDKEY，表示该Region的起止RowKey范围
 //table3的第五个Region(900-正无穷)
 table3,row-900,1428632308630.4e048 column=info:regioninfo, timestamp=1428632310195, value={ENCODED => 4e048f1c6a7a9a58994629ae957d4ddf, NA
 f1c6a7a9a58994629ae957d4ddf.       ME => 'table3,row-900,1428632308630.4e048f1c6a7a9a58994629ae957d4ddf.', STARTKEY => 'row-900', ENDKEY =
                                    > ''}                                                                                                  
 table3,row-900,1428632308630.4e048 column=info:seqnumDuringOpen, timestamp=1428632312795, value=\x00\x00\x00\x00\x00\x00\x00\x02          
 f1c6a7a9a58994629ae957d4ddf.                                                                                                              
 table3,row-900,1428632308630.4e048 column=info:server, timestamp=1428632312795, value=hadoop.master:16201                                 
 f1c6a7a9a58994629ae957d4ddf.                                                                                                              
 table3,row-900,1428632308630.4e048 column=info:serverstartcode, timestamp=1428632312795, value=1428562244095                              
 f1c6a7a9a58994629ae957d4ddf.

 

3. -ROOT-表、meta表以及Region Server、Region的关系



 

4. Hadoop生态系统与HBase的集成

  • MapReduce为HBase提供了高性能的计算能力
  • Zookeeper为HBase提供了稳定服务和failover机制。
  • Pig和Hive还为HBase提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单；
  • Sqoop则为HBase提供了方便的RDBMS数据导入功能，使得传统数据库数据向HBase中迁移变的非常方便。

 

 

 

 

 

 

 

 

 

 

 

 

 

  • 大小: 47.7 KB
分享到：
| 【Avro二】Avro RPC框架
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hbase安装与hbase架构说明

    在HBase的架构中，Client是用户与系统交互的接口，它通过远程过程调用（RPC）机制与HMaster和HRegionServer通信。对于数据读写操作，Client直接与HRegionServer交互，而对于表管理和元数据操作，Client则与HMaster...

    大数据书籍-Hbase架构设计（高清）

    《大数据书籍-Hbase架构设计》是一本专注于大数据领域中分布式数据库Hbase的深度解析书籍，适合对大数据技术尤其是Hbase感兴趣的程序员和数据分析师。书中详细阐述了Hbase的核心原理、生态环境以及在实际项目中的...

    HBASE架构和原理解析

    ### HBASE架构与原理详解 #### 一、HBASE简介 HBase是一个开源的、分布式的、基于列存储的非关系型数据库系统。它最初源自Google的BigTable论文，并构建在Hadoop之上，利用Hadoop分布式文件系统(HDFS)作为其底层...

    Hbase 组件 、架构

    总之，HBase的架构和组件设计体现了它作为一个分布式NoSQL数据库的优势和特点，通过合理的数据划分、负载均衡和故障转移机制，保证了数据存储的高可靠性和系统的高性能。HBase特别适用于处理大量数据的实时读写操作...

    HBase应用架构PDF版本

    2. **HBase架构**：HBase的核心组件包括Region Server、Master服务器、ZooKeeper和表。Region Server负责数据存储和处理，Master服务器管理全局的表和Region分配，ZooKeeper用于协调集群和服务发现。 3. **行与列族...

    hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构

    《HBase资源合集》包含了四本重量级的书籍，分别是《HBase企业应用开发实战》、《HBase权威指南》、《HBase实战》以及《HBase应用架构》。这些书籍深入浅出地探讨了HBase在大数据环境中的应用与开发，是学习和掌握...

    hbase应用架构指南

    Hbase全称为Hadoop Database，即Hbase是Hadoop的数据库，是一个分布式的存储系统。...本篇文章将重点介绍Hbase三个方面的内容：Hbase体系结构（架构）的介绍、Hbase shell的操作、Hbase的Java api的客户端操作

    HBase架构图

    **HBase架构图** HBase，全称是Apache HBase，是一个分布式的、面向列的开源数据库，基于Google的Bigtable论文设计，是Apache Hadoop项目的一部分。它为大规模数据集（数十亿行，数百万列）提供随机访问和强一致性...

    Hbase架构简介、实践

    ### HBase架构简介 HBase是一种分布式的、面向列的开源数据库，是Apache顶级项目之一。它基于Google的Bigtable论文设计，旨在为海量数据提供实时读写访问能力。HBase利用Hadoop HDFS作为底层数据存储，并依赖于...

    HBase存储架构详解

    HBase存储架构详解 HBase存储架构是HBase的核心组件之一，它们之间的关系非常复杂。本文将详细解释HBase存储架构的组件、它们之间的关系，以及它们如何工作。 HBase存储架构主要包含以下几个组件： 1. HMaster：...

    HBase架构解析——维基百科[归纳].pdf

    《HBase架构解析——维基百科[归纳].pdf》这篇文档是关于Apache HBase的架构解析，主要介绍了HBase的基本概念、数据模型以及架构组成部分。HBase是一个开源项目，其目标是在Hadoop分布式计算环境中提供类似Google ...

    16-HBase简介、架构

    HBase思维导图，便捷整理思路，HBase简介、HBase架构、HBase数据模型、HBase角色

    Cassandra与HBase系统架构比对.pdf

    Cassandra与HBase系统架构比对 Cassandra与HBase是两种常用的NoSQL数据库管理系统，它们之间有着许多相似之处，但同时也存在着一些关键的差异。以下是对Cassandra与HBase系统架构的比对。 数据模型 Cassandra的...

    Hbase体系架构与安装

    hbase的体系架构安装，hbase的三种安装模式，及一些操作命令

    hbase架构设计基础

    《HBase架构设计基础》 HBase，全称为Hadoop Base，是建立在Apache Hadoop文件系统（HDFS）之上的分布式列式数据库，专为处理大规模数据而设计。HBase充分利用了Hadoop的分布式存储和计算能力，提供高并发、低延迟...

    HBase官方文档中文版-HBase手册中文版

    三、HBase架构 1. Region服务器：存储HBase表的分区，负责处理表的读写请求。 2. Master节点：管理Region服务器，处理表和Region的分配，监控服务器健康状态，进行Region分裂和合并操作。 3. ZooKeeper：协调HBase...

    分布式存储系统：HBase：HBase架构与原理.docx

    分布式存储系统：HBase：HBase架构与原理.docx

Magicbox
Global site tag (gtag.js) - Google Analytics