博客首页 → HBase

最新文章列表

hbase 报错gc wal.FSHLog: Error while AsyncSyncer sync, request close of hlog YouAr

    一个很常见的报错log   2015-03-05 03:10:35,461 FATAL [regionserver60020-WAL.AsyncSyncer0] wal.FSHLog: Error while AsyncSyncer sync, request close of hlog org.apache.hadoop.ipc.RemoteException(java.io ...
hbasegc 
blackproof 评论(1) 有4911人浏览 2015-06-06 14:03

hbase 配置优化

hbase的优化的一点经验，一直没做这个笔记，是因为hbase自身也有设计缺陷，所以有些配置不能说优化，只能说因为hbase自身缺陷可以将就着用，不说废话了，以下就是优化的一点笔记   hbase配置修改： (split是因为hfile过多，进行split，split之后进行compact   可以可能要有人喷了，hfile多了应该compact才对啦。贴出0.98.1的代码，大致逻辑是 ...
hbase配置优化 
blackproof 评论(0) 有2924人浏览 2015-06-06 14:00

hbase 获取行锁源码分析

  现象：60020中有许多连接，并且长久不放；            hbase hbck已经连接不上60020            日志中出现大量以下日志：             2014-12-24 17:36:47,821 WARN [RpcServer.handler=1,port=60020] retry.RetryInvocationHandler: Excepti ...
hbase行锁rowlock 
blackproof 评论(0) 有3238人浏览 2015-03-19 18:47

非mapreduce生成Hfile，然后导入hbase当中

最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都没有达到理想的那种速度，然后就想到了这种方式，但是网上多是用mapreduce来实现入库，而现在的需求是实时入库，不生成文件了，所以就只能自己用代码实现了，但是网上查了很多资料都没有查到，最后在一个网友的指引下，看了源码，最后找到了生成Hfile ...
hbasemapreduceHfilepath实例 
Stark_Summer 评论(0) 有3658人浏览 2015-03-10 15:19

hbase-site.xml参数集合

该文档是用hbase默认配置文件生成的，文件源是 hbase-default.xml。 在实际的HBase生产环境中应用于%HBASE_HOME%/conf/hbase-site.xml中。 hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录 ...
hbase 
gao_xianglong 评论(0) 有7102人浏览 2015-03-10 09:35

hadoop hive hbase 入门学习 (二)

  //////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列                hadoop hiv ...
hadoophivehbase大数据nosql 
knight_black_bob 评论(0) 有1939人浏览 2015-03-08 13:25

Hbase0.98集群安装

《Hbase0.98集群安装》   Hadoop2.5.2集群安装 Zookeeper3.4.6集群安装 前面笔者分别介绍了Hadoop和Zookeeper的集群安装，如果Hbase需要集群，那么就必须依赖它们。   1、安装HBase 使用命令“tar -zxvf”命令将gz压缩文件解压。笔者HBase的安装目录为：“/home/hadoop”，解压后的HBase目录为“/hom ...
HBase 
gao_xianglong 评论(0) 有1944人浏览 2015-03-06 16:51

hbase分页的简单实现

参照博客：http://ronxin999.blog.163.com/blog/static/422179202013621111545534/ 提供了两种解决思路，这里使用的是第一种   这里使用hbase的PageFilter实现简单的分页   分页过滤，通过设置pagesize参数可以返回每一页page的数量。 客户端需要记住上一次访问的row的key值。     pac ...
hbase 
1114926882 评论(0) 有3770人浏览 2015-03-03 15:46

Hbase中的Coprocessor

Hbase总结（八）Hbase中的Coprocessor   1.起因(Why HBase  Coprocessor) HBase作为列族数据库最经常被人诟病的特性包括：无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储 ...
hbase 
1114926882 评论(0) 有654人浏览 2015-03-03 11:44

解决直接读HFile时因表数据写入而导致文件目录变化问题

转载请标明出处：http://blackwing.iteye.com/admin/blogs/2188077 数据量大的情况下，通过直接读取HFile来获得hbase表数据性能比通过HTable读取有优势，但当读取HFile时，table同时有数据写入，那么可能因为split、compact等原因导致某些HFile不存在，导致任务失败。 如果通过hdfs的snapshot快照功能，对某个tabl ...
hbaseHadoopsnapshot 
BlackWing 评论(0) 有1534人浏览 2015-03-02 18:22

hbase rs启动的内存要求

hbase rs启动的内存要求   1-hbase.regionserver.global.memstore.upperLimit-hfile.block.cache.size<=(HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD = 0.2f) 也就是memstore和blockcache要小于等于heap的80% private static void ...
hbase 
blackproof 评论(0) 有2009人浏览 2015-02-27 16:46

hbase 0.94.26 + hadoop 2.2.0 编译问题（续）

昨天在hadoop 2.2.0下重新编译了habse 0.94.26，虽然编译成功了，但是运行的时候，HMaster可以启动，HRegionServer启动后会报错停止运行。网上找到好多资料都是说ntp时间不同步的，但是当前环境中ntp配置没有问题，通过查询log发现是protobuf版本不兼容的问题。最终在apache官网的mail中找到了答案，将hbase-0.94.26/src/main/ ...
hadoophbase 
iamlipeng 评论(0) 有662人浏览 2015-02-27 13:23

hbase 0.94.26 + hadoop 2.2.0 编译问题

1、从官方下载最终版的hbase 0.94版本，最终版为hbase-0.94.26的安装包，此安装包是src包和bin包的组合体，默认支持hadoop 1.0.4。2、hbase 0.94默认是在hadoop 1.0.4版本下编译的，结合hadoop 2.2.0需要重新编译安装，需要修改pom.xml文件。(1)将<protobuf.version>2.4.0a</protobu ...
hbasehadoop 
iamlipeng 评论(0) 有492人浏览 2015-02-26 17:06

hadoop hive hbase 入门学习 (一)

  ////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////                                        ...
hadoophivehbase大数据nosql 
knight_black_bob 评论(0) 有2486人浏览 2015-02-15 14:26

HBase memflush源码分析

源码为0.98.1  HRegionServer中起线程MemStoreFlusher private void initializeThreads() throws IOException { // Cache flushing thread. this.cacheFlusher = new MemStoreFlusher(conf, this); // ...
hbasememflushcompactsplit 
blackproof 评论(0) 有1595人浏览 2015-02-14 16:34

hbase故障分析之-regionserver突然宕机启动后也是宕机

近日发现测试环境中的RegionServer总是突然宕机，重新启动节点依然无效，无耐看了半天日志发现如下信息： 2015-02-13 05:40:04,325 WARN [regionserver60020] zookeeper.RecoverableZooKeeper: Node /hbase/rs/slave2,60020,1423777199540 already deleted, retr ...
hbase 
尘事随缘 评论(0) 有4504人浏览 2015-02-13 14:46

hbase compact和split策略

---compact split笔记   compact策略： 在启动region之后，memflush之后，用户compact调用compact 使用策略类needsCompaction方法，hfile数量大于hbase.hstore.compaction.min 和 hbase.hstore.compactionThreshold的最大值数（默认值为3）   major comp ...
hbasecompactsplit触发策略 
blackproof 评论(0) 有5804人浏览 2015-02-12 17:41

【原创】应该在什么时候使用Hadoop？

IT界从来不缺少浮躁，现在什么公司都说大数据，好像不搞这个显得自己很落后似的。但是什么是大数据？多大的数据才是大数据？用什么工具去解决多大的数据？ 下面这篇文章的观点很好，我比较认同。其中它提到，超过5T的数据建议使用hadoop。其实从hadoop的计算架构来看，这也是合理的，因为经过测试，小而多的数据文件进行计算，效率非常差。大而少的文件嫩更充分利用hadoop计算架构的优势。   最 ...
javahadoophivehbasespark 
leobasic 评论(0) 有960人浏览 2015-02-12 09:55

HBase Scan Filter 自定义 Comparator 比较器

    最近项目需求需要完善Sqoop的更多功能点，其中一项是将Hbase的数据导出到hdfs或hive，重点是Hbase出来的数据需要支持条件过滤。类似于Sql中的什么 > ,< ,=，主要是针对数字类型的数据过滤 等。     研究了关于Hbase的过滤只能通过Filter来进行，其中符合我们条件的Filter有一个：      SingleColumnValueFilter ...
HbasehadoopComparatorFilter 
lucky_xingxing 评论(0) 有8637人浏览 2015-02-11 11:27

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics