最新文章列表

Hadoop-Hive-Hbase-Sqoop相关技术分享

  http://lvwenwen.iteye.com/blog/1781980   大家好!欢迎大家加入:(141570425)吖大哥QQ技术交流群,在这 你可以将你的Hadoop领域的相关经验分享给大家,该群也会为大家免费分享很多关于Hadoop领域的技术文档、视频、资料及在线技术探讨会,期待你的加入!!!   http://yunpan.cn/QipHycMQIwWIS  访问 ...
wang吖 评论(0) 有992人浏览 2014-05-23 08:50

Hbase修改默认存储版本数

        HBase默认情况下,只存储3个版本的历史数据。但在实际应用中,可能会有多于3个版本要存储,那么如何在表已建好的情况下,修改默认存储版本数尼,下面为工作记录:         1. 表下线(disable) hbase(main):004:0> disable 'xls' 0 row(s) in 2.1050 seconds         2. 修改表属性(可指定 ...
XMaster 评论(0) 有2428人浏览 2014-05-22 10:55

管中窥豹之淘宝大数据平台

淘宝这两年比较火,马云为了淘宝整体上市卖个好价钱,吹了不少泡泡。但是从对大数据技术这块来看,个人以为目前淘宝是做的比较好的。淘宝为什么搞得好,还是因为马云本身较早的把数据放到了全公司的战略的地位,所以为了搞好大数据,网罗了不少人才。现在搞数据分析相关技术的同学,如果能拿到的淘宝的OFFER的话,给的都还是比较的高。 下面来简单看下淘宝的技术架构:(淘宝技术也在不停的发展,现在公开的资料可能有些 ...
jiezhu2007 评论(0) 有4449人浏览 2014-05-21 11:05

导致Hbase挂掉的场景

 异常导致的退出会通过接口Abortable定义的abort()方法实现,Abortable实现类如下: 由以上类图可以看出HBaseAdmin的abort由于是client的访问,因此终止服务 ...
无尘道长 评论(0) 有3580人浏览 2014-05-20 21:24

HBase技术介绍

HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapR ...
zhb8015 评论(0) 有1025人浏览 2014-05-19 11:00

Hbase Architecture

http://hbase.apache.org/book.html#architecture
wbj0110 评论(0) 有737人浏览 2014-05-13 13:15

HBase业务实践(转)

适合读者 2012年因为业务需求,我们的底层数据库从Mysql迁移到HBase上面,正好也亲身经历了HBase-Client从0.92到0.94变化。我们总结了一些业务上面使用HBase的办法,希望本文能够对业务上面刚刚使用HBase的人一些帮助,降低入门门槛。 准备工作 HBase Toturial,需要对HBase有一定的了解 Mysql 基础,需要对Mysql有一定的了解 Ja ...
wbj0110 评论(0) 有657人浏览 2014-05-12 09:36

MPP DB 是 大数据实时分析系统 未来的选择吗?

大数据领域,实时分析系统(在线查询)是最常见的一种场景,前面写了一个《实时分析系统(HIVE/HBASE/IMPALA)浅析》讨论业界当前常见的方案。互联网公司用得比较多是HIVE/HBASE,如腾讯基于HIVE深度定制改造,改名为TDW,小米等公司选用HBASE等。关于HIVE/HBASE/IMPALA介绍等可以看我前面的文章。 当前在实时分析系统中,最难的是多维度复杂查询,目前没有一个很好 ...
jiezhu2007 评论(0) 有13537人浏览 2014-05-10 11:50

Hbase 单机模式安装

   在网上看了很多Hbase单机模式的安装,有些说要安装hadoop,有些又说只需要Hbase,jdk就可以了。   其实,如果安装的是hbase 0.98 的话,它有自带hadoop,这样的话,就不需要再安装hadoop啦。 摸了2天,终于把它弄出来了。 主要参考 http://www.micmiu.com/bigdata/hbase/hbase-setup-standalone/ ...
Catherine_luo 评论(0) 有628人浏览 2014-05-07 15:21

hbase ORM simplehbase/simplehbaseviewer v0.8简介及使用说明

https://github.com/zhang-xzhi/simplehbase/ https://github.com/zhang-xzhi/simplehbase/wiki ### v0.8 批量操作接口新增 public <T> void putObjectList(List<PutRequest<T>> putRequestList); public ...
zhang_xzhi_xjtu 评论(0) 有1032人浏览 2014-05-07 00:50

【转】Hbase原理、基本概念、基本架构

目录(?)[-] 概述 Hbase数据模型 Hbase物理模型 HBase架构及基本组件 Hbase使用场景 Hbase与HDFS对比 参考文档   概述
myhadoop 评论(0) 有904人浏览 2014-05-06 15:59

HBase Region Split过程详解

 1、检查是否需要进行Region Split的时机: 每次flush或者compact之后,regionserver都会去检查是否满足了Split的条件。 2、Region Split的过程如下:   (1)RegionServer在Zookeeper上创建一个/hbase/region-in-transition/region-name结点,并设置结点的内容为SPLITTING  ...
myhadoop 评论(0) 有1463人浏览 2014-05-06 15:56

[转载]HBase Region 分配 探索 分区

原文地址:HBase Region 分配 探索 分区作者:闪出光芒  HBase 的 cluster 中, Region 是如何分配这个问题,困扰了我很久,经过代码分析和调试,得出了一些见解,缺点和错误请大家批评指正。   参与 Region 分配的重要对象 在 Region 分配过程中,起着重要作用有如下一些对象。  
myhadoop 评论(0) 有1189人浏览 2014-05-06 15:53

Hbase写入量大导致region过大无法split问题

       最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度 ...
myhadoop 评论(0) 有1257人浏览 2014-05-06 15:33

HBase-0.95.1源码分析之split

  split操作执行的是将HBase中较大的Region分为两个。因为split比较耗时,因此split是在独立的线程中完成的,相关类是CompactSplitThread。 首先,CompactSplitThread中分区的方法主要是以下两个: CompactSplitThread.requestSplit(HRegion):检测是否需要分区,如果需要分区则调用requestSp ...
myhadoop 评论(0) 有704人浏览 2014-05-06 11:58

初始HDFS(hadoop distributed file system)

初次接触HDFS(Hadoop Distributed File System),主动或者被动地了解一些相关知识,也有同事给我们分享过,但是大多是一些概念把我们唬住了,很难有个清晰的认识和进一步了解的前提,借此论坛的机会,整理一点,我想可以轻松愉快的快速认识一下HDFS。” 影片名称:HDFS分布式文件系统 上映时间:2004年X月,至今翻拍多版 主要演员:client、namenod ...
ding.zhenyuan 评论(0) 有917人浏览 2014-04-30 11:27

hbase轻量级中间件simplehbase v0.8简介

https://github.com/zhang-xzhi/simplehbase/ https://github.com/zhang-xzhi/simplehbase/wiki ### v0.8 批量操作接口新增 public <T> void putObjectList(List<PutRequest<T>> putRequestList); public ...
zhang_xzhi_xjtu 评论(5) 有3773人浏览 2014-04-28 21:44

实时分析系统(HIVE/HBASE/IMPALA)浅析

1. 什么是实时分析(在线查询)系统? 大数据领域里面,实时分析(在线查询)系统是最常见的一种场景,通常用于客户投诉处理,实时数据分析,在线查询等等过。因为是查询应用,通常有以下特点: a. 时延低(秒级别)。 b. 查询条件复杂(多个维度,维度不固定),有简单(带有ID)。 c. 查询范围大(通常查询表记录在几十亿级别)。 d. 返回结果数小(几十条甚至几千条)。
jiezhu2007 评论(6) 有8424人浏览 2014-04-27 22:15

UserScan的处理流程分析

UserScan的处理流程分析   前置说明   Userscan是通过client或cp中发起的scanner操作。   在Scan中通过caching属性来返回可以返回多少条数据,每次进行next
hongs_yang 评论(0) 有2649人浏览 2014-04-25 16:46

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics