博客首页 → HBase

最新文章列表

使用HBase EndPoint（coprocessor）进行计算

如果要统对hbase中的数据，进行某种统计，比如统计某个字段最大值，统计满足某种条件的记录数，统计各种记录特点，并按照记录特点分类（类似于sq ...
Hbase 
wbj0110 评论(0) 有824人浏览 2014-07-02 09:26

HBase利用bulk load批量导入数据

OneCoder只是一个初学者，记录的只是自己的一个过程。不足之处还望指导。 看网上说导入大量数据，用bulk load的方式效率比较高。bulk load可以将固定格式的数据文件转换为HFile文件导入，当然也可以直接导入HFile文件。所以OneCoder最开始考虑的生成HFile文件供HBase导入，不过由于手太新，一直没有搞定。参考了很多网上的代码也没跑通。暂时搁浅。 后来OneCo ...
HBase 
wbj0110 评论(0) 有1973人浏览 2014-07-01 09:28

Hbase shell 常用命令

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 创建表
Hbase 
wbj0110 评论(0) 有900人浏览 2014-06-18 13:18

在HBase中应用MemStore-Local Allocation Buffers解决Full GC问题

    译者注：上个月写了一遍博文，介绍一种高效的Java缓存实现http://maoyidao.iteye.com/blog/1559420。其本质是模仿Memcached的Slab，通过分配连续定长的byte[] ...
hbasegc 
blackproof 评论(1) 有1606人浏览 2014-06-13 23:05

hive与hbase的十大区别与联系

共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。4.Hive query ...
hbase 
myhadoop 评论(0) 有688人浏览 2014-06-12 10:35

linux eclipse编译hbase源码

编译hbase0.94源码   1.svn下载源码 2.mvn package -Dmaven.test.skip.exec=true编译源码 3.导入eclipse，可以用插件，但是我用mvn eclipse:eclipse生成eclipse文件，导入eclipse    碰到一些错误   问题一： Unbound classpath variable: 'M2_REPO   解 ...
hbase源码eclipse编译 
blackproof 评论(0) 有1400人浏览 2014-06-08 21:43

hbase 编译

hbase编译报错：   编译中出现一个错误：找不到autoreconf （视机器环境而定），定位到文件中位置：                         <target name="create-native-configure">                            <exec executable="autorec ...
hbase编译 
blackproof 评论(0) 有757人浏览 2014-06-06 20:02

hbase compact源码分析

工作的地方不让上网，回家补个笔记，好惨好惨   主要的步骤都在HRegion下的Store compact方法中 Store.compact(final List<StoreFile> filesToCompact, final boolean majorCompaction, final long maxId) ...
hbasecompact源码 
blackproof 评论(1) 有1806人浏览 2014-06-05 21:51

impala常用命令

修改shell编码：export  LANG='zh_CN.utf8' 进入shell: impala-shell 罗列所有数据库：show databases; 罗列所有表： show tables;   518  hadoop fs -put /home/scb/hxs.txt /wenzhou/table/hxs/   519  hadoop fs -put /home/scb/hxs.t ...
hadoophbase 
buleFish_java 评论(0) 有1006人浏览 2014-06-05 13:56

hbase性能调试 转

本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工具，检查各节点的各硬件的运作状态：CPU,Memo,网络等等。   一、调整参数 入门级的调优可以从调整参数开始。投入小，回报快。   1. Write Buffer Size 快速配置 Java代码   HTable htable ...
hbase性能 
blackproof 评论(0) 有13775人浏览 2014-06-03 23:19

hbase bulkloader实例入门

一、使用mr生成对应hbase table的hfile maper中写入库逻辑，reduce是用hbase自带的，outputformat用的是hfileoutputformat     Configuration conf = new Configuration(); Job jobAft ...
hbasebulkload入门 
blackproof 评论(0) 有3127人浏览 2014-06-03 23:15

Hive如何加载和导入HBase的数据

当我们用HBase 存储实时数据的时候， 如果要做一些数据分析方面的操作， 就比较困难了， 要写MapReduce Job。 Hive 主要是用来做数据分析的数据仓库 ...
HbaseHive 
wbj0110 评论(0) 有1164人浏览 2014-06-03 09:52

预学习内容

zookeeper      zooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服 ...
redishbasehadoopnginx 
dingdingji 评论(0) 有607人浏览 2014-06-03 08:13

Cassandra HBase和MongoDB性能比较

这是一篇基于亚马逊云平台上对三个主流的NoSQL数据库性能比较，在读写两个操作不同的组合情况下性能表现不同。横坐标是吞吐量，纵坐标是延迟，这是一对矛盾，吞吐量越大，延迟越低，代表越好。1. 纯粹插入，Cassandra领先，见下图：2.WorkloadA: 读修改操作各占一半情况下的修改性能：MongoDB明显延迟增加，落败:3.WorkloadB:读修改操作各占一半情况下的读性能：Cassan ...
HbaseCassandraMongoDB 
wbj0110 评论(0) 有1282人浏览 2014-06-02 13:03

Mongodb VS Hbase

1.Mongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。 2.Mongodb 主键是“_id”,主键 ...
HbaseMongoDB 
wbj0110 评论(0) 有603人浏览 2014-05-30 09:16

HBase 系统架构

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的 ...
Hbase 
wbj0110 评论(0) 有1090人浏览 2014-05-30 08:59

【C#】通过Thrift操作HBase系列

题外话：C#  调用 Java 的几种方法 1.将Java端的接口通过WebService方式发布，C#可以方便的调用 2.先使用C++ 通过 JNI 调用 Java，C# 调用C++的接口 3.使用开源的库直接使用C#调用Java ，详细信息请点击 4.使用IKVM实现C#调用Java，参考：http://www.ikvm.net/   之所以说这些，是因为自己这边客户端要调用HB ...
Hbase 
wbj0110 评论(0) 有2066人浏览 2014-05-29 13:10

hadoop mapreduce 测试 mock htable

例一： public class MergePcProfileMapper extends Mapper<LongWritable, Text, Text, Text> { protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedEx ...
hadoopmapreducehbase 
xiangjinqi 评论(0) 有994人浏览 2014-05-27 15:35

Hadoop、HBase配置Ganglia指南（metrics1）

Server端： yum install rrdtool ganglia ganglia-gmetad ganglia-gmond ganglia-web httpd php Client端： yum install ganglia-gmond 创建RRD目录 mkdir -p /var/lib/ganglia/rrdschown ganglia:ganglia /var/lib/g ...
GangliaHbaseHadoop 
wbj0110 评论(0) 有1145人浏览 2014-05-24 09:32

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics