- 浏览: 40805 次
- 来自: 长沙
最新评论
-
di1984HIT:
不错,不错。
[Binospace] OpenTSDB的设计之道
文章列表
对于Table内RowKey个数的统计,一直是HBase系统面临的一项重要工作,目前有两种执行该操作的方式。
1)使用MapReduce进行。可以借助HTableInputFormat实现对于Rowkey的划分,但是需要占用资源,另外由于使用的Hadoop集群提交作业,经常会遇到不能申请到资源的情况,延迟较大,不适合应用的频繁访问。
2)使用Scan+KeyOnlyFilter的方式进行。可以借助Filter的功能,尽可能实现数据在RegionServer端进行统计,减轻Client端的压力。但是,在大多数情况下,从每一个Region上进行Scan,当Table较大时,会造成非常长的延迟 ...
一般我向别人介绍HBase的时候,都会这样说:Hbase是加强版的Mysql,存储容量更大、逻辑形式更加灵活。至于BigTable那篇论文的内容,它的意义在于提供了一种更加灵活地组织数据的形式。Hbase以Distributed、Sorted RowKey、MultiDimentional作为亮点,吸引了如Facebook、Amazon、Taobao在内的一大批Internet公司的使用。HBase虽然开源,但是要真正使得你的业务run得漂亮,也不是容易的事情。本系列文章的作者,正是在HBase的使用过程中的一种积累。
1、如何更快Scan一个table中所有的的RowKey
建表时确 ...
任何系统的性能分析以及分布式负载平衡策略的执行,需要首先了解当前系统的资源使用情况。
从资源角度进行划分,可以把资源分为如下4类:
1)处理器资源,CPU
2)内存资源,Memory,从广义概念上讲,这还包括Swap\Cache\Buffer等
3)磁盘资源,Disk
4) 网络资源,Network IO,从广义概念上讲,还要考虑上层网络交换机的带宽和交换机之间的带宽。
1、CPU分析
CPU分析常用的工具top。
针对HBase上SQL解决方案,目前社区内比较热门的有Cloudera的Impala,Horntworks的Drill,以及Hive。根据与HBase的操作方式,可以分为三种:
以MapReduce为核心,单个任务使用hbase-client原始接口访问;
以Google Dremel为核心,单个任务使用hbase-client原始接口访问;
以HBase-Coprocessor为核心,结合Google Dremel的思想,客户端合并多个节点的处理结果。
Phoenix的安装:
1)git clone https://github.com/forcedotcom/p ...