博客首页 → HBase

最新文章列表

hbase Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 1

机房断电   hbase产生漏洞，用http://blackproof.iteye.com/blog/2052898这个帖子，可以删除多余的meta上的region   在hbase hbck报错：ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta   需要用hbase hbck -details才能显示有问题的row ERR ...
hbase 
blackproof 评论(0) 有4016人浏览 2015-08-06 13:49

ERROR: Found lingering reference file hdfs

  Found lingering reference异常 第一种解决：hbase hbck -fixReferenceFiles  month_hotstatic     另一种方法： #http://stackoverflow.com/questions/17810443/error-found-inconsistency-in-table-hbase     This ...
hbase 
blackproof 评论(0) 有3666人浏览 2015-08-03 18:11

HBase学习（一）

1. HBase有哪些基本的特征？ 2. HBase相对于关系数据库能解决的问题是什么？ 3. HBase的数据模型是什么？如何表述？有哪些操作形式？ 4. HBase的模式Schema设 ...
HBase 
星之空 评论(0) 有417人浏览 2015-07-31 22:17

Hbase Rest API : Hbase管理

在上一篇关于Hbase Rest API的文章中介绍了如何查询数据，本章将介绍其Hbase Admin的功能。   查询软件版本，包括操作系统，JVM，servlet容器等等。 语法：GET /version   范例：curl http://localhost:8000/version   输出结果： {"@Stargate":"0.0.1&qu ...
hbaserest 
kane_xie 评论(0) 有2837人浏览 2015-07-21 10:34

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结

GZIP、LZO、Zippy/Snappy是常用的几种压缩算法，各自有其特点，因此适用的应用场景也不尽相同。这里结合相关工程实践的情况，做一次小结。 压缩算法的比较 以下是Google几年前发布的一组测试数据（数据有些老了，有人近期做过测试的话希望能共享出来）： Algorithm % remaining Encoding Decoding GZIP 13.4%           21 M ...
hbase算法gzipkafkasnappy 
ych0108 评论(0) 有3976人浏览 2015-07-17 15:31

Hbase Rest API : 数据查询

hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest start ...
hbaserest 
kane_xie 评论(0) 有4547人浏览 2015-07-13 12:01

【原创】HBase如何实现海量数据的毫秒级查询

HBase中单表的数据量通常可以达到TB级或PB级，但大多数情况下数据读取可以做到毫秒级。HBase是如何做到的哪？要想实现表中数据的快速访问，通用的做法是数据保持有序并尽可能的将数据保存在内存里。HBase也是这样实现的。   对于海量级的数据，首先要解决存储的问题。   数据存储上，HBase将表切分成小一点的数据单位region，托管到RegionServer上，和以前关系数据库分 ...
HBaseregionBlockCacheHFile布隆过滤器 
dujian.gu 评论(0) 有5208人浏览 2015-07-09 16:45

【原创】HBase中列族设计的原则

    HBase表在进行模式设计时，首先考虑的一个问题是，这个表应该有多少个列族。一张表设计多少列族合理呢？相信这个问题困扰着不少HBase初学者。让我们来先简单分析一下HBase的实现原理。     HBase中的表和其数据库一样，也是由行和列组成的，虽说模式有些不同。HBase中的表可能达到数十亿行和数百万列，表的大小可能达到TB级，显然不可能在一台机器上存放整张表。相反，一张表在存储时 ...
HBase列族 
dujian.gu 评论(0) 有4538人浏览 2015-07-09 10:31

转载-搜索引擎实时秒级更新

搜索是很多用户在天猫购物时的第一入口，搜索结果会根据销量、库存、人气对商品进行排序，而商品的显示顺序往往会决定用户的选择，所以保证搜 ...
阿里巴巴搜索引擎hbase 
wuhaocn 评论(0) 有859人浏览 2015-07-08 14:02

带filter的hbase查询优化

问题描述 hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。   问题原因 直接原因是： hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需要的时间超过hbase ...
hbaseRandomRowFilter查询优化 
kane_xie 评论(0) 有2225人浏览 2015-07-01 14:15

超详细单机版搭建hadoop环境图文解析（转）

源：http://www.cnblogs.com/end/archive/2012/08/13/2636645.html       前言： 年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终 于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce程 ...
hadoophbase 
zhb8015 评论(0) 有528人浏览 2015-06-18 19:24

hbase increment代码

hbase increase       increase代码 1.将数据封装为increment对象 2.从increment对象中封装get 3.封装新kv 4.对HRegion下的Storm做upsert或add操作 5.查看是否需要flush并添加队列 6.返回kvs   HRegion代码，如下   /** * Perform one or more ...
hbaseincrement 
blackproof 评论(0) 有3598人浏览 2015-06-06 14:14

HBase 在淘宝的应用和优化

本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。 目 录 [ - ] 前言 原因 应用情况 部署、运维和监控 测试与发布 改进和优化 将来计划 前言 hbase是从 hadoop中分离出来的apache ...
hbase 
dengkane 评论(0) 有296人浏览 2015-06-05 15:46

Hbase写数据，存数据，读数据的详细过程

Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreF ...
Hbase写过程 
18901888895 评论(0) 有1399人浏览 2015-06-03 11:11

HBase查找一条数据的过程

HBase中的Client如何路由到正确的RegionServer 在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的 RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并 不知道哪个RegionServer管理哪个Region，那么 ...
Hbase数据流 
18901888895 评论(0) 有590人浏览 2015-06-03 11:08

HIVE和HBASE区别（转载）

1. 两者分别是什么？    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。     Apache HBase是一种Key/V ...
HiveHbase 
18901888895 评论(0) 有540人浏览 2015-06-03 11:05

hbase的简单操作

近期公司用hbase来存储日志,然后再来分析 ,把hbase开发经常要用的命令找了出来. 用ssh登陆安装hbase那台linux后 用hbase shell进行hbase命令控制台! 表的管理 1）查看有哪些表 hbase(main)> list 2）创建表   # 语法：create <table>, {NAME => <family>, V ...
hbase数据库 
deng520159 评论(0) 有662人浏览 2015-05-29 15:02

HBase性能优化方法总结（一）：表的设计

HBase性能优化方法总结（一）：表的设计 本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。 下面是本文总结的第一部分内容：表的设计相关的优化方法。 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候 ...
hbase 
huangxueyong 评论(0) 有433人浏览 2015-05-19 15:44

最近博客热门TAG

Oracle(49876) MySQL(37268) SQL Server(17623) Access(9329) DB2(4271) Redis(3181) Sybase(2414) 数据挖掘(2098) MongoDB(2014) SQLite(1817) PostgreSQL(1635) HBase(1492) NoSQL(1000) HSQLDB(620) Informix(581) Derby(578) Cassandra(375) PowerBuilder(333) CouchDB(113) TokyoCabinet(87)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics