博客首页 → HBase

最新文章列表

Major compaction时的scan操作

Major compaction时的scan操作   发起major compaction时，通过CompactSplitThread.CompactionRunner.run开始执行   -->region.compact(compaction, store)-->store.compact(compaction)-->   CompactionContext ...
hbase源代码分析 
hongs_yang 评论(0) 有1269人浏览 2014-04-24 16:14

hbase分页应用场景及分页思路与代码实现

可以带着下面问题来阅读1.hbasef分页什么情况下比较有用？2.hbase分页的思路是什么？3.hbase分页代码与sql分页代码有什么区别和联系？一、hbase分页应用 ...
hbase 
myhadoop 评论(0) 有1271人浏览 2014-04-24 13:52

hadoop、hbase、hive版本对应关系

hadoop与HBase版本对应关系: Hbase  Hadoop  0.92.0   1.0.0 0.92.1   1.0.0 0.92.2   1.0.3 0.94.0   1.0.2 0.94.1   1.0.3 0.94.2   1.0.3 0.94.3   1.0.4 0.94.4   1.0.4 0.94.5   1.0.4 0.94.9   1.2.0 0.9 ...
hadoophbase 
myhadoop 评论(0) 有4261人浏览 2014-04-24 13:46

不能搜么

hive sqoop
hbasehadooppig 
byethen 评论(0) 有335人浏览 2014-04-23 23:00

分布式数据库 HBase入门指导

HBase简介 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储 ...
hbase 
myhadoop 评论(0) 有1466人浏览 2014-04-23 14:23

minor compaction时的scan操作分析

minor compaction时的scan操作分析   minor compaction时的scan主要是对store下的几个storefile文件进行合并,通常不做数据删除操作。   compaction的发起通过CompactSplitThread.requestCompactionInternal-->   CompactSplitThread.Compactio ...
hbase源代码分析hbase minor compactscan 
hongs_yang 评论(0) 有1928人浏览 2014-04-23 14:00

HBase工程师线上工作经验总结----HBase常见问题及分析

阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出 ...
hbase 
myhadoop 评论(0) 有1199人浏览 2014-04-23 13:54

hbase meta表修复

    meta表修复一 查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表（根据hdfs上的regioninfo文件，生成meta表） hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver（根据meta表，将meta表上的region分给regionservere） hbase hbck -fix ...
hbasemeta 
blackproof 评论(0) 有27166人浏览 2014-04-22 22:42

compact处理流程分析

compact处理流程分析   compact的处理与split相同，由client端与flush时检查发起。   针对compact还有一个在rs生成时生成的CompactionChecker线程定期去检查是否需要做compact操作  
hbase源码分析hbase compaction 
hongs_yang 评论(0) 有2275人浏览 2014-04-21 21:05

HBase Client使用注意点

HBase Client使用注意点： 1  HTable线程不安全。    建议使用HTablePool，或者每次new一个HTable出来。    2  HTable和HConnection的关系。    注意HTable对象之间通过Configuration共享HConnection。    好吧，我偷懒了，实际上是通过HConnectionKey来共享HConnection的。    因此 ...
hbaseormjava 
zhang_xzhi_xjtu 评论(0) 有1951人浏览 2014-04-21 12:52

region split流程分析

region split流程分析 split region的发起主要通过client端调用regionserver.splitRegion或memstore.flsuh时检查并发起。   Client通过rpc调用regionserver的splitRegion方法 client端通过HBaseAdmin.split传入region name与split point(切分的rowkey,可 ...
hbase源代码分析 
hongs_yang 评论(0) 有1491人浏览 2014-04-19 16:37

memstore的flush流程分析

memstore的flush流程分析 memstore的flush发起主要从以下几个地方进行：  a.在HRegionServer调用multi进行更新时，检查是否超过全局的memstore配置的最大值与最小值，    如果是，发起一个WakeupFlushThread的flush请求，如果超过全局memory的最大值，需要等待flush完成。  b.在HRegionServer进行数据更 ...
hbase源代码分布式 
hongs_yang 评论(4) 有3667人浏览 2014-04-18 15:57

Hlog的相关处理流程不完全分析

  Hlog的相关处理流程：   在对hbase中数据进行更新操作put/delete/append/increment操作时，记录操作日志供日志重播的相关处理。   Hlog的写入通过regionserver实例生成时生成的FSLog为的实例。   通过LogRoller
hbase分布式源代码 
hongs_yang 评论(0) 有2994人浏览 2014-04-15 17:59

HBase行数统计

分布式数据库HBase本身不支持SQL语法，要统计表的行数，只能通过其他的方式来实现。HBase的shell脚本提供了count命令，但该命令只是简单地scan全表然后 ...
hbasemapreduce 
myhadoop 评论(0) 有972人浏览 2014-04-15 17:21

hbase put 流程分析regionserver端

RegionServer端put数据流程分析:   client端通过MultiServerCallable.call调用rs的
hbase源代码分布式 
hongs_yang 评论(2) 有2791人浏览 2014-04-15 13:34

hbase put 流程分析client端

数据写入(Put)处理流程分析: Put通过生成一个HTable实例,并调用其put方法时，的执行流程，此部分分析分为client与regionserver两个部分， client端: Htable.put-->doPut,如果是put一个list时，会迭代调用doPut privatevoiddoPut(Put put) throws InterruptedIOExcepti ...
hbase源代码分布式 
hongs_yang 评论(0) 有2768人浏览 2014-04-14 16:19

日志重播分析

日志重播分析   Hbase的日志重播分为启动时的日志重播与rs下线时的日志重播操作。   通过hbase.master.distributed.log.replay来控制日志的split是在region的reopen前执行还是reopen后执行   如果是true表示在reopen后执行,否则相反     Rs下线时的日志重播分析   master监听下线   ...
hbase 
hongs_yang 评论(0) 有1520人浏览 2014-04-13 16:42

Hbase的regionServer无法启动报ClockOutOfSyncException解决方法

2014-04-11 02:41:20,142 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoo ...
hadoophbase 
myhadoop 评论(0) 有3126人浏览 2014-04-13 00:59

Zookeeper Api(java)入门与应用(转)

安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网 http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式 单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录 ...
hadoophbase配置管理ZooKeeper 
myhadoop 评论(0) 有1088人浏览 2014-04-12 22:40

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics