关于hbase查询海量数据的问题

问答首页 → Java企业应用

0 0

关于hbase查询海量数据的问题30

哪位大侠，hbase入库速度是挺快了，但是查询几十万条数据时，要统计总记录数和某一列的和就非常之慢，请问有没有好的解决办法啊？
急啊！

问题补充：

yonge812 写道

查询总记录数应该不慢吧，查找一条慢的话，加索引..

一看就是外行

问题补充：

king_c 写道

你用hbase 做实时的查询用吗？

对啊，实时查询

问题补充：

dank 写道

非常慢是指多少时间呢？用了多少机器作群集呢？HBASE一般不推荐去作实时查询的。

查询150万条要40多秒

2011年12月28日 15:17

peter196
0
0 0 0

8个答案按时间排序按投票排序

0 0

不知道你是从多少数据中查出这样150万条数据的。而且这个查询速度还是和你搭建Hadoop群集时使用的机器数量和性能有关系的。

2012年1月02日 17:21

dank
18
0 0 0

添加评论

0 0

非常慢是指多少时间呢？用了多少机器作群集呢？HBASE一般不推荐去作实时查询的。

2011年12月30日 19:47

dank
18
0 0 0

添加评论

0 0

看看添加索引有没有用

2011年12月30日 17:40

kingj
116
0 0 0

添加评论

0 0

你用hbase 做实时的查询用吗？

2011年12月30日 14:36

king_c
38
0 0 0

添加评论

0 0

统计总记录数和某一列的和

这个跟使用的Framework没关系的，你这个操作本来就便利了每条数据。
还是看数据库SQL方面有没有优化的函数之前的比较靠谱。

数据库增加索引，只能为数据定位提速，但一旦涉及full查询，不采用散列，索引是不存在任何优势的。

其实你这个需求，明显是可以通过策略来完成的。

缓存数据行数 - 某列的和。

例如：10000行 - 某列的和=XXX 存储过程可以定（例如一分钟）时更新

如果数据实时性要求特别高，那你还想要提高效率，那么就切大为小吧。
分表，分库，分布

2011年12月30日 10:16

moshalanye
187
0 0 0