本月博客排行
-
第1名
龙儿筝 -
第2名
lerf -
第3名
fantaxy025025 - johnsmith9th
- xiangjie88
- zysnba
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - wy_19921005
- vipbooks
- benladeng5225
- e_e
- wallimn
- javashop
- ranbuijj
- fantaxy025025
- jickcai
- gengyun12
- zw7534313
- qepwqnp
- 解宜然
- ssydxa219
- zysnba
- sam123456gz
- sichunli_030
- tanling8334
- arpenker
- gaojingsong
- kaizi1992
- xpenxpen
- jh108020
- wiseboyloves
- ganxueyun
- 龙儿筝
- xyuma
- xiangjie88
- wangchen.ily
- Jameslyy
- luxurioust
- mengjichen
- lemonhandsome
- jbosscn
- zxq_2017
- lzyfn123
- nychen2000
- forestqqqq
- wjianwei666
- ajinn
- zhanjia
- siemens800
- Xeden
- hanbaohong
- java-007
- 喧嚣求静
- mwhgJava
最新文章列表
Hbase修改默认存储版本数
HBase默认情况下,只存储3个版本的历史数据。但在实际应用中,可能会有多于3个版本要存储,那么如何在表已建好的情况下,修改默认存储版本数尼,下面为工作记录:
1. 表下线(disable)
hbase(main):004:0> disable 'xls'
0 row(s) in 2.1050 seconds
2. 修改表属性(可指定 ...
管中窥豹之淘宝大数据平台
淘宝这两年比较火,马云为了淘宝整体上市卖个好价钱,吹了不少泡泡。但是从对大数据技术这块来看,个人以为目前淘宝是做的比较好的。淘宝为什么搞得好,还是因为马云本身较早的把数据放到了全公司的战略的地位,所以为了搞好大数据,网罗了不少人才。现在搞数据分析相关技术的同学,如果能拿到的淘宝的OFFER的话,给的都还是比较的高。
下面来简单看下淘宝的技术架构:(淘宝技术也在不停的发展,现在公开的资料可能有些 ...
导致Hbase挂掉的场景
异常导致的退出会通过接口Abortable定义的abort()方法实现,Abortable实现类如下: 由以上类图可以看出HBaseAdmin的abort由于是client的访问,因此终止服务 ...
HBase业务实践(转)
适合读者
2012年因为业务需求,我们的底层数据库从Mysql迁移到HBase上面,正好也亲身经历了HBase-Client从0.92到0.94变化。我们总结了一些业务上面使用HBase的办法,希望本文能够对业务上面刚刚使用HBase的人一些帮助,降低入门门槛。
准备工作
HBase Toturial,需要对HBase有一定的了解
Mysql 基础,需要对Mysql有一定的了解
Ja ...
MPP DB 是 大数据实时分析系统 未来的选择吗?
大数据领域,实时分析系统(在线查询)是最常见的一种场景,前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为TDW,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。
当前在实时分析系统中,最难的是多维度复杂查询,目前没有一个很好 ...
Hbase 单机模式安装
在网上看了很多Hbase单机模式的安装,有些说要安装hadoop,有些又说只需要Hbase,jdk就可以了。
其实,如果安装的是hbase 0.98 的话,它有自带hadoop,这样的话,就不需要再安装hadoop啦。
摸了2天,终于把它弄出来了。
主要参考 http://www.micmiu.com/bigdata/hbase/hbase-setup-standalone/ ...
hbase ORM simplehbase/simplehbaseviewer v0.8简介及使用说明
https://github.com/zhang-xzhi/simplehbase/
https://github.com/zhang-xzhi/simplehbase/wiki
### v0.8
批量操作接口新增
public <T> void putObjectList(List<PutRequest<T>> putRequestList);
public ...
HBase Region Split过程详解
1、检查是否需要进行Region Split的时机:
每次flush或者compact之后,regionserver都会去检查是否满足了Split的条件。
2、Region Split的过程如下:
(1)RegionServer在Zookeeper上创建一个/hbase/region-in-transition/region-name结点,并设置结点的内容为SPLITTING
...
[转载]HBase Region 分配 探索 分区
原文地址:HBase Region 分配 探索 分区作者:闪出光芒
HBase 的 cluster 中, Region 是如何分配这个问题,困扰了我很久,经过代码分析和调试,得出了一些见解,缺点和错误请大家批评指正。
参与 Region 分配的重要对象
在 Region 分配过程中,起着重要作用有如下一些对象。
HBase-0.95.1源码分析之split
split操作执行的是将HBase中较大的Region分为两个。因为split比较耗时,因此split是在独立的线程中完成的,相关类是CompactSplitThread。
首先,CompactSplitThread中分区的方法主要是以下两个:
CompactSplitThread.requestSplit(HRegion):检测是否需要分区,如果需要分区则调用requestSp ...
初始HDFS(hadoop distributed file system)
初次接触HDFS(Hadoop Distributed File System),主动或者被动地了解一些相关知识,也有同事给我们分享过,但是大多是一些概念把我们唬住了,很难有个清晰的认识和进一步了解的前提,借此论坛的机会,整理一点,我想可以轻松愉快的快速认识一下HDFS。”
影片名称:HDFS分布式文件系统
上映时间:2004年X月,至今翻拍多版
主要演员:client、namenod ...
hbase轻量级中间件simplehbase v0.8简介
https://github.com/zhang-xzhi/simplehbase/
https://github.com/zhang-xzhi/simplehbase/wiki
### v0.8
批量操作接口新增
public <T> void putObjectList(List<PutRequest<T>> putRequestList);
public ...
实时分析系统(HIVE/HBASE/IMPALA)浅析
1. 什么是实时分析(在线查询)系统?
大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点:
a. 时延低(秒级别)。
b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。
c. 查询范围大(通常查询表记录在几十亿级别)。
d. 返回结果数小(几十条甚至几千条)。
最近博客热门TAG
Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)