博客首页 → HBase

最新文章列表

hbase split log源码分析

  split log过程      在hbase hmaster启动的时候，将hlog移动到split log文件夹下，并处理split log  （在RS加入到dead serverlist的时候，ServerShutdownHandler也会调用 splitlog方法，代码贴在最后）   Master负责分发split log任务到zk上   master处理split log ...
hbasesplit log 
blackproof 评论(0) 有3322人浏览 2015-04-03 18:12

hbase数据库操作

http://blog.csdn.net/scutshuxue/article/details/6988348 http://jiajun.iteye.com/blog/899632 hbase shell list scan "table1" count 'table1' get 'table1','行名'
hbase数据库操作hbase 
273514524 评论(0) 有505人浏览 2015-04-03 09:13

quorum.QuorumCnxManager: Cannot open channel to 2 at election address

在进行hbase分布式安装时出现了如下信息： quorum.QuorumCnxManager: Cannot open channel to 2 at election address slave2/1.2.3.4:3888 本能的认为安装出现了差错，但是使用命令 bin/hbase shell 能正常登录且访问地址 http://28.18.19.4:60010/master.jsp 正常，这时 ...
Hadoophbase 
宋建勇 评论(0) 有8336人浏览 2015-04-02 15:38

hbase put源码分析

  这里写下HRegionServer在做put操作的源码：   HRegionServer    public MultiResponse multi(final RpcController rpcc, final MultiRequest request) throws ServiceException { .... try { region ...
hbaseputmvccwal 
blackproof 评论(0) 有2339人浏览 2015-04-01 15:38

HBase0.94-Hadoop1升级至HBase1.0-Hadoop2.6

1.编译hadoop2编译的开发环境安装必要的有JDK,svn,cmake,ncurses,openssl,gcc,maven,protobuf1.  #yum install svn #yum install autoconfautomake libtool cmake #yum install openssl-devel #yum install ncurses-devel #yum ...
hbasehadoop升级 
秦昭襄王 评论(0) 有3964人浏览 2015-03-31 15:00

Hadoop数据迁移：使用importtsv两步载入数据

importtsv工作： 该工具是HBase提供的一个将HDFS数据转化为HBase数据库数据的一个工具。 其实现过程是，先将HDFS文件转复制并转化为HFile文件，然后将HFile移动并加载成为HBase的数据文件。 两步数据导入： 它是指利用importtsv工具将HDFS数据直接转换为HBase表数据。 该过程分为两步完成，第一步是将HDFS上的数据复制并转化为HFile文件，第二步是将 ...
hadoophbase 
flylynne 评论(0) 有1151人浏览 2015-03-30 16:18

HBase 查看HFile内容

HBase 查看HFile内容   hbase 查看HFile hbase的数据文件最终存放的是HFile文件,即对MFile存储格式的封装修改,存储的为二进制格式内容,目前hbase提供的hbase org.apache.hadoop.hbase.io.hfile.HFile 工具类可以查看HFile文件内容,对排查region的分布情况有很大用途,以下为查询步骤: 定位HFile ...
hbaseHFile 
duguyiren3476 评论(0) 有4148人浏览 2015-03-26 17:54

HBase 多master 安装配置

HBase 多master   hbase master 多master   hbase HA hbase的hmaster不保存数据,而是起到region分裂,regionserver宕机后region的重新分配和有关表的DML操作,在hmaster宕机后只要不进行上述三种情况的操作,几乎不用考虑hmaster,先将多hmaster配置详细如下： 首先搭建单节点hmaster集群 ...
hbasehbase双master 
duguyiren3476 评论(0) 有3696人浏览 2015-03-26 17:38

hbse在shell下的基本命令

命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。命令：enable 'tableName' --使表可用命令：drop 'tableName' --删除表HBase基本命令下面我们再看看看HBase的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表 create '表名称', '列名称1', ...
hbase命令hbase shell数据挖掘HBase 
you啃up 评论(0) 有1048人浏览 2015-03-26 11:24

hadoop和hbase lzo压缩

配置hadoop lzo   一、下载、解压并编译lzo包 1 [wyp@master ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 2 [wyp@master ~]$ tar -zxvf lzo-2.06.tar.gz 3 ...
hadoophbaselzo压缩 
blackproof 评论(0) 有2163人浏览 2015-03-25 23:04

HBase Maven Dependency

 HBase传递性依赖实在太多，还包含了很多Tomcat和Jetty的依赖容易出现问题，现在发一份记录一下   <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <versio ...
HadoopHBaseMavenDependency 
sgq0085 评论(0) 有4126人浏览 2015-03-20 13:39

hbase blockcache BucketCache源码分析

     hbase get/scan的时候   StoreFileScanner next方法       使用HfileReaderV2的内部静态类ScannerV2（HFileScanner） next方法            使用HFileReaderV2 readBlock方法：      1.封装为blockcachekey   2.从blockcache中获取bloc ...
hbaseblockcacheBucketCache源码 
blackproof 评论(0) 有1955人浏览 2015-03-17 17:35

mapreduce mapper access security hbase

环境： security cdh 5.2.0 security hbase 启动mapreduce的账户为hive或者others（非hbase），如下假设以bi账户为例   出发点： mapper/reduce程序中读取hbase中数据，或者写入hbase数据   踩过的坑： 在mapreduce的job创建过程中加入如下认证代码UserGroupInformation. ...
hbasesecuritymapreduce 
lookqlp 评论(0) 有1220人浏览 2015-03-17 14:42

Hbase安装指南（原创）

1.搭建基础环境 环境说明   1.1JDK1.6.26   1.2安装hadoop 2.4.0   1.3修改系统hostname：      1）vi /etc/sysconfig/network             HOSTNAME=redhat6-xxx      2)  hostname redhat6-xxx 2.添加hbase用户 使用root用户完成以下操作 ...
hbase大数据 
jiashaoshan 评论(0) 有1472人浏览 2015-03-16 11:19

hbase 定时进行compact CompactionChecker类

 CompactionChecker类 定时判断是否进行compact，   定时判断间隔hbase.server.compactchecker.interval.multiplier默认1000 @Override protected void chore() { for (HRegion r : this.instance.onlineRegions.values ...
hbasecompact 
blackproof 评论(0) 有2782人浏览 2015-03-13 17:04

hbase定时memflush PeriodicMemstoreFlusher

PeriodicMemstoreFlusher类 定时判断是否触发memflush， 判断间隔hbase.server.thread.wakefrequency 默认10S @Override protected void chore() { for (HRegion r : this.server. ...
hbasememflush 
blackproof 评论(0) 有2969人浏览 2015-03-13 16:01

hadoop hive hbase 入门学习 (三)

  //////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hadoop hive hbase 入门学习 (一 ...
hadoophivehbase大数据nosql 
knight_black_bob 评论(0) 有1888人浏览 2015-03-12 11:50

Hive Hbase integration (整合) 出现zk始终连接 localhost:2181

前提是 hive客户端和zk没在一台机器，hive只是作为客户端使用，没有和hadoop集群在一起。 hive 和 hbase 整合(integration) 的时候,在创建hive关联Hbase表的时候出现如下 zk始终连接localhost:2181,   建表语句如下： --------------------------------------------------------- ...
hive hbase 整合 zk localhosthivehbasehive hbase 关联表 
lucky_xingxing 评论(0) 有8653人浏览 2015-03-11 18:35

HBase 系统架构

HBase 系统架构图 　　 　　组成部件说明 　　Client： 　　使用HBase RPC机制与HMaster和HRegionServer进行通信 　　Client与HMaster进行通信进行管理类操作 　　Client与HRegionServer进行数据读写类操作 　　Zookeeper： 　　Zookeeper Quorum存储-ROOT-表地址、HMaster地址 　　HRegion ...
hbase负载均衡文件系统timestampzookeeper 
Stark_Summer 评论(0) 有2211人浏览 2015-03-10 15:22

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics