博客首页 → HBase

最新文章列表

HBase 系统架构

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase特性： 1 高可靠性 2 高效性 3 面向列 4 可伸缩 5 可在廉价PC Server搭建大规模结构化存储集群 HBase是Google BigTable的开 ...
Hbase 
wbj0110 评论(0) 有659人浏览 2014-04-26 09:22

hbase region分配，RS下线处理

RS下线的regionassign 上面在RS启动部分已经提到过,RS在zk中的地址注册为SESSION过期自动清理的路径(ephemeral)。 在
hadoophbase大数据 
hongs_yang 评论(0) 有1007人浏览 2014-04-12 20:56

region assign 流程补充说明

region assign的流程补充Master端:1.regionserver下线，zk中注册的rs节点下的server子路径session过期被删除,  master触发RegionServerTracker.nodeDeleted监听事件,并调用ServerManager.expireServer2.把下线的server添加到deadServers列表中,同时从onlineServers列表中 ...
hadoophbase大数据 
hongs_yang 评论(0) 有1155人浏览 2014-04-12 20:54

HMBASE的REGION分配

HMBASE的REGION分配 Region assign分为meta的分配与userregion assign,同时包含hbase启动时与rs下线,因此从4个方面来说明regionassign 启动时的metaregion assign 针对master启动时的补充说明： Hmaster.run.
hbasehadoop大数据 
hongs_yang 评论(0) 有1656人浏览 2014-04-12 20:53

HBASE REGIONSERVER启动过程

HBASEHRegionServer启动分析 regionserver的启动入口是HRegionServer.main方法 生成HRegionServercommandLine实例,并执行doMain方法,
hbasehadoop 
hongs_yang 评论(0) 有2117人浏览 2014-04-12 20:49

hbase0.96.1 hmaster启动过程分析

HBASE HMASTER启动分析 Hbase debug配置： 找到hbase这个shell脚本文件，在对应的位置，如我要debugmaster, elif[ "$COMMAND" = "master" ] ; then CLASS='org.apache.hadoop.hbase.master.HMaster' if[ "$1&qu ...
hbasehadoopzk 
hongs_yang 评论(0) 有1752人浏览 2014-04-12 20:45

hbase配置、运行错误总结

一、执行$ hbase hbck 命令时，出现以下提示： Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Error: Could not create the Java Virtual Ma ...
hbasemapreduce 
myhadoop 评论(0) 有5775人浏览 2014-04-12 00:08

转-Hadoop虽强大，但不是万能的

注：本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/   Hadoop是一个分布式海量数据计算的伟大框架。但是，hadoop并不是万能的。比如，以下场景就不适合用hadoop：   1、低延迟数据访问 需要实时查询并在毫秒级内进行低延时访问数据就不适合用hadoop。Hadoop并不适用于数据库。 数据 ...
mapreducehadoophbase框架编程 
myhadoop 评论(0) 有614人浏览 2014-04-10 17:17

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Sqoop目前已经是Apache的顶级项目了，目前版本是1.4.4 和 Sqoop2 1.99.3，本文以1.4.4的版本为例讲解基本的 ...
micmiusqoophivehbasehadoop 
sjsky 评论(0) 有2034人浏览 2014-04-09 16:51

Hive和HBase整合

本文主要描述Hive和HBase 环境整合配置的详细过程： 基本环境 整合配置 测试验证     详见：http://www.micmiu.com/bigdata/hive/hive-hbase-integration/
micmiuhivehbase
sjsky 评论(0) 有1158人浏览 2014-04-09 16:50

HiveException:Not a host:port pair: PBUF

HBase和Hive整合后，在Hive shell中执行建表语句时错误信息如下：   HiveException:Not a host:port pair: PBUF   详见：http://www.micmiu.com/bigdata/hive/hive-exception-not-a-host-port-parir-pbuf/  
micmiuhivehbase
sjsky 评论(0) 有1284人浏览 2014-04-09 16:49

hbase coprocessor 官网介绍

官网上介绍：     Apache HBase Main | HBase Project Manage... » WEDNESDAY FEB 01, 2012 Coprocessor Introduction Authors: Trend Micro Hadoop Group: Mingjie Lai, Eugene Koontz, Andrew Purtell (Th ...
hbasecorporation 
blackproof 评论(0) 有4111人浏览 2014-04-02 22:41

hbase coprocessor入门使用 转

转：http://www.360doc.com/content/14/0402/17/16635465_365774770.shtml 1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方 ...
hbasecoprocessor实例入门 
blackproof 评论(0) 有2467人浏览 2014-04-02 17:29

HBase snappy部署 转

  转 http://blog.csdn.net/chenyi8888/article/details/14167311 转：http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/     因为业务需要所以对hbase的数据做整体的压缩处理。   首先需要在hadoop集群里安装snappy成功。以下 ...
hbasesnappy 
blackproof 评论(0) 有4238人浏览 2014-03-31 21:09

windows下编译hbase0.96

前几天用windows7下的eclipse编译hbase0.96,发现hbase common总是不能编译通过,原来linux下whoami命令返回只有一行,而windows上装了Cygwin以后,运行whoami命令总是有个多余的空行,导致生成的java没法编译 修改hbase-common\src下的saveVersion.sh文件,把user=`whoami`改成固定值,就可以顺利编译
hbase 
kabike 评论(0) 有1053人浏览 2014-03-28 20:37

Hive和HBase的区别

以下 由网上内容 整理： Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑，就是些表的定义等，也就是表的元数据。使用SQL实现Hive是因为SQL大家都熟悉， ...
hadoophbasemapreducenosql编程 
myhadoop 评论(0) 有5670人浏览 2014-03-27 18:58

HBase在内容推荐引擎系统中的应用

Facebook放弃Cassandra之后，对HBase 0.89版本进行了大量稳定性优化，使它真正成为一个工业级可靠的结构化数据存储检索系统。Facebook的Puma、Titan、ODS时间 ...
Hbase 
wbj0110 评论(0) 有807人浏览 2014-03-26 09:58

HMaster启动源码分析

     写之前先吐槽一下自己的sb公司环境，电脑上不了网，优盘又不能插。所以做点笔记基本上都是晚上回家再写一遍。哎，废话不说了      先贴个hbase在构造函数中起来的RPC服务的UML图 ：http://blackproof.iteye.com/blog/2029170       HMaster启动会调用Run方法，概述为   HBase启动   hmaster处理备份 ...
hbasehmaster源码分析 
blackproof 评论(0) 有4126人浏览 2014-03-21 21:37

PIG0.12 HBASE 0.96-PIG 读取HDFS文件插入HBASE问题解决

1.环境描述 已搭建HADOOP 2.2集群，1NameNode,3DataNode,可用 已安装配置Pig0.12,可用   已安装配置HBase 0.96集群，1MASTER，3RegionServer 2.问题描述     按照网上或者相关例子，pig读取一个文件内容，使用HBaseStorage进行Store,第一个遇到的问题是WritableByt ...
大数据HADOOPPIGHBASE 
cctype 评论(0) 有2167人浏览 2014-03-21 15:06

thirft连接hbase的例子

hbase支持的thrift有两种方式 thrift和 thrift2 官方似乎推荐thrift2 一下是两种thrift的java客户端的连接方式 然后是一个cpp以thrift2的方式连接hbase的操作 如果是使用thrift1 hbase-daemon.sh start thrift 如果是使用thrift2 hbase-daemon.sh start thrift2 官方例子在 /data ...
hbasejavathrift 
haoningabc 评论(0) 有18556人浏览 2014-03-18 16:10

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics