博客首页 → HBase

最新文章列表

hbase hfile文件格式 详解

1.HFile详解 HFile文件分为以下六大部分 序号 名称 描述 1 数据块 由多个block(块)组成，每个块的格式为：[块头] + [key长] + [value长] + [key] + [value]。 2 元数据块 元数据是key-value类型的值，但元数据快只保存元数据的value值，元数据的key值保存在第五项（元数据索引块）中。   ...
hbasehfile文件格式 
blackproof 评论(0) 有3220人浏览 2014-12-09 14:47

hbase的CoprocessorProtocol及一个简单的通用扩展实现V2

hbase中的CoprocessorProtocol机制. CoprocessorProtocol的原理比较简单，近似于一个mapreduce框架。由client将scan分解为面向多个region的请求，并行发送请求到多个region，然后client做一个reduce的操作，得到最后的结果。 先看一个例子，使用hbase的AggregationClient可以做到简单的面向单个column ...
hbase 
zhang_xzhi_xjtu 评论(0) 有2110人浏览 2014-12-04 18:00

hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析

hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析 测试原因： 原有的simplehbase count测试代码当hbase从某个集团版本升级后，部分测试代码不通过，怀疑hbase的各个版本有兼容性问题。 测试环境： 0.94.0 0.94.9 0.94.24使用本机的独立部署hbase。 client 0.94.9 测试数据: rowkey ...
hbasesimplehbase 
zhang_xzhi_xjtu 评论(0) 有609人浏览 2014-12-04 16:14

hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析

hbase 0.94.0 0.94.9 0.94.24 功能不兼容初步分析 测试原因： 原有的simplehbase count测试代码当hbase从某个集团版本升级后，部分测试代码不通过，怀疑hbase的各个版本有兼容性问题。 测试环境： 0.94.0 0.94.9 0.94.24使用本机的独立部署hbase。 client 0.94.9 测试数据: rowkey ...
hbasecoprocessorsimplehbase 
zhang_xzhi_xjtu 评论(0) 有1117人浏览 2014-12-04 16:10

数据映射-LSM Tree和SSTable

原文地址：http://blog.sina.com.cn/s/blog_693f08470101njc7.html 首先感谢大家支持，10个转对我来说确实也是个很大的鼓励了。 今天来聊聊lsm tree，它的全称是log str ...
nosqlcassandrahbase数据结构cache 
矮蛋蛋 评论(0) 有1324人浏览 2014-12-02 15:12

security cdh mapreduce access hbase

执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户，例如hive。 指定hive的节点kinit获取执行权限 在mapreduce main代码中加入访问hbase的权限，例如： import java.io.IOException; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a ...
hbase 
lookqlp 评论(0) 有1079人浏览 2014-12-02 15:09

HBase Shell在crt中输入命令无法删除问题解决技巧

HBase shell使用过程中，使用CRT客户端，命令输入后无法删除一直困绕着我，今天终于受不了，几番度娘，谷哥之后，终于有了解决方法，特共享给大家。 secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux
crthbase 
duguyiren3476 评论(0) 有2055人浏览 2014-11-25 17:37

hbase0.20.6单机伪分布式安装(win7 cygwin)

    之前以为hadoop安装很难，然后装了hbase以后才知道，hadoop其实是小菜一碟，装hbase才叫难。经过我一周的不懈努力和反复尝试，终于成功的试验出来一套在windows上安装hbase0.20.6单机伪分布式模式的方法。 环境 win7 32bit jdk 1.6.0_45 32bit zookeeper 3.4.3 hadoop 0.20.2 hbase 0.20.6 首先不 ...
hbasehadoopzookeeper 
xpenxpen 评论(0) 有1989人浏览 2014-11-23 13:08

Hbase0.98.4中部署用户自定义的Observer Coprocessor

 Hbase自0.92之后开始支持Coprocessor（协处理器），旨在使用户可以将自己的代码放在regionserver上来运行，即将计算程序移动到数据所在的位置进行运算。这一点与MapReduce的思想一致。Hbase的Coprocess分为observer和endpoint两大类。简单说，observer相当于关系型数据库中的触发器，而endpoint则相当于关系型数据库中的存储过程。关于 ...
Hbasehadoopmapreduce 
dyllove98 评论(0) 有2488人浏览 2014-11-21 17:34

hbase0.96.0单机模式安装(win7 无需cygwin)

    之前折腾了几天，想让hbase的单机模式在cygwin上跑起来，都不成功。正当我气馁之时，我无意中发现hbase0.96.0的bin和conf目录下有一些扩展名为cmd的文 ...
hbase 
xpenxpen 评论(0) 有11319人浏览 2014-11-21 15:46

HBase表设计原则整理

1、列簇的设计 列簇尽量少，最好不超过3个。因为每个列簇是存在一个独立的HFile里的，flush和compaction操作都是针对一个Region进行的，当一个列簇的数据很多需要flush的时候，其它列簇即使数据很少也需要flush，这样就产生的大量不必要的io操作。 在多列簇的情况下，注意各列簇数据的数量级要一致。如果两个列簇的数量级相差太大，会使数量级少的列簇的数据扫描效率低下。 将经常查询 ...
hbase列簇表设计大数据 
qicen 评论(0) 有3560人浏览 2014-11-21 11:25

一个实时数据服务平台的设计和实现

背景     在这个项目之前，也做过一个准实时的项目，大约延时10分钟左右，但是对业务单位的数据有要求，需要提供数据变化表，采用批量方式抽取 ...
FLUMEKAFKAHBASEElasticSearch实时平台 
zhousheng29 评论(1) 有2641人浏览 2014-11-20 17:54

Hadoop HBase Hive伪分布式环境搭建

Hadoop HBase Hive 启动： $HADOOP_HOME/bin/start-all.sh $HBASE_HOME/bin/start-hbase.sh $HIVE_HOME/bin/hive start 环境配置 1、JDK安装 2、SSH配置 3、环境变量 /etc/profile     export JAVA_HOME=/usr/lib/jvm/jdk1. ...
HadoopHBaseHive 
fally 评论(0) 有2337人浏览 2014-11-20 16:15

如何解决java工程中多个版本的包冲突问题

背景 最近工作上需要实现从mysql到hbase的实时数据同步的功能。经过多方了解，整理出解决方案：使用canal作为实时的数据源，然后开发一个client来完成与canal的对接，并将数据写入hbase数据库中。 问题 在开发接近尾声时，发现连接canal时需要使用protobuf-java-2.4.1.jar包，而连接hbase时则需要使用protobuf-java-2.5.0.jar。并且两 ...
javahbasecanalprotobuf 
翻滚吧--少年 评论(1) 有6524人浏览 2014-11-19 23:44

Hadoop端口大全

[HDFS]8019[dfs.ha.zkfc.port]ZooKeeper FailoverController，用于NN HA [HDFS]8020[fs.defaultFS]接收Client连接的RPC端口，用于获取文件系统metadata信息 [HDFS]8480[dfs.journalnode.http-address]HTTP服务 [HDFS]8485[dfs.journalno ...
hadoophbase 
cutesunshineriver 评论(0) 有1773人浏览 2014-11-14 16:04

hbase数据备份或者容灾方案

    HBase的数据备份或者容灾方案有这几种：Distcp，CopyTable，Export/Import，Snapshot，Replication，以下分别介绍（以下描述的内容均是基于0.94.20版本）。   ...
hbase容灾备份 
无尘道长 评论(0) 有7970人浏览 2014-11-11 18:38

停止RegionServer服务的大致逻辑

hbase-daemon.sh中停止RS的脚本如下: if [ -f $pid ]; then       # kill -0 == see if the PID exists       if kill -0 `cat $pid` > /dev/null 2>&1; then //判断进程是否存在         echo -n stopping $comm ...
hbase 
无尘道长 评论(0) 有2231人浏览 2014-11-07 15:53

深入理解HBase

思考：HBase服务器内部由那些主要部件构成？ HBase的内部工作原理是什么？ 1.    HBase的工作原理： 首先HBase Client端会连接Zookeeper Qurom(从下面的代码也能看出来，例 如：HBASE_CONFIG.set(“hbase.zookeeper.quorum”,”192.168.50.216″) )。通过Zookeeper组件Client能获知哪个Se ...
hbasehadoopmapreducecache 
jxausea 评论(0) 有1549人浏览 2014-11-03 14:22

flume1.5.0.1+hbase0.98.7+hadoop1.2.1遇到的奇怪问题。

如题： hdfs：hadoop1.2.1搭建的 hbase：0.98.7版本 flume：1.5.0.1版本 flume拿到日志sink到hbase中去，遇到的问题是这样的： 往表中存入100条数据以后，就开始报错，是flume爆出来的： 2014-11-01 11:18:35,168 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR ...
hadoophbaseflume 
qiwb 评论(3) 有1128人浏览 2014-11-01 13:51

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics