可以带着下面问题来阅读
1.hbasef分页什么情况下比较有用?
2.hbase分页的思路是什么?
3.hbase分页代码与sql分页代码有什么区别和联系?
一、hbase分页应用场景:
一、应用场景
hbase到底需不需要分页,hbase的数据量肯定不少,肯定是需要分页的。很多人认为数量量如此大,怎么会展示。这个从客户角度来讲,我们做的系统,不可能会给机器看的。这里面我们可以对其进行统计分析,这样利于我们决策。
比如我们:平台中有一个场景是要做用户历史订单数据的查询,并且需要支持分页。这里只是举了一个场景,后面大家可以根据自己的经验。下面给大家讲讲分页的思路。
二、hbase分页思路:
hbase通过scan来扫描表,通过startKey,stopKey来确定范围,hbase官方提供了一个PageFilter来支持一次scan可以返回多少条数据即每页的行数。假如一页是10条,这样是第一页还好,但是第二页呢,如果不改变PageFilter的pageSize,那返回的还是第一页的数据,如果改变pageSize为20,则返回了第一页10多余的数据,在客户端要过滤掉,性能不好。那怎么办呢,方法就是在查询下一页时,指定下一页的startKey,这样PageFilter每次就不会返回多余的记录,stopKey可以不用变,那现在问题是,怎么得到下一页的startKey(即下一页第一行的rowkey)呢?,有两种方法来取每一页的startKey
1. 上一页的最后一行记录的rowkey作为下一页的startKey。
2. 在每次scan时多取一条记录,即把下一页第一条行页取出来,把该行的rowkey做为下一页的startKey。
这两种方法,都要注意,hbase scan时是包含startKey的,如果是采用第一种,则要在记录多取一条,排除第一条。第二种页是多取一条,但是排除最后一条,用来做下一页的startKey。还有需要注意的是在计算是否有下一页时,可以根据返回的条数来判断。
startKey怎么取没有问题了。但是怎么存储呢,有同学可能会想到存到session,但是如果你的服务是rest api型的,就没有session的概念了。那还有两种选择:
1. 是存到客户端,让客户端每次请求时把startKey再传回来,这样需要依赖客户端,如果客户端是远程,或者是开放平台的情况下,可能不合适。
2. 存在服务端,存在服务端需要注意并发访问的情况。比如scan同一个表,一个访问第2页,一个访问第3页,服务端就需要对每一个table的scan 存每一页的startKey,需要为同一个查询条件包含pageSize,因为pageSize不一样,startKey也会不一样,
在服务crash情况下,从起后都从第一页开始。
我自己是采用第二种方案,存在服务端.
----------------------------------------------------------------------------------------------------------------------------------------------------
三、代码实现
- import java.io.IOException;
- import java.util.LinkedHashMap;
- import java.util.LinkedList;
- import java.util.List;
- import java.util.Map;
- import org.apache.commons.lang.StringUtils;
- import org.apache.hadoop.conf.Configuration;
- import org.apache.hadoop.hbase.HBaseConfiguration;
- import org.apache.hadoop.hbase.client.Get;
- import org.apache.hadoop.hbase.client.HTableInterface;
- import org.apache.hadoop.hbase.client.HTablePool;
- import org.apache.hadoop.hbase.client.Result;
- import org.apache.hadoop.hbase.client.ResultScanner;
- import org.apache.hadoop.hbase.client.Scan;
- import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
- import org.apache.hadoop.hbase.filter.Filter;
- import org.apache.hadoop.hbase.filter.FilterList;
- import org.apache.hadoop.hbase.filter.FirstKeyOnlyFilter;
- import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
- import org.apache.hadoop.hbase.util.Bytes;
- public class HBaseUtils {
- private static Configuration config = null;
- private static HTablePool tp = null;
- static {
- // 加载集群配置
- config = HBaseConfiguration.create();
- config.set("hbase.zookeeper.quorum", "xx.xx.xx");
- config.set("hbase.zookeeper.property.clientPort", "2181");
- // 创建表池(可伟略提高查询性能,具体说明请百度或官方API)
- tp = new HTablePool(config, 10);
- }
- /*
- * 获取hbase的表
- */
- public static HTableInterface getTable(String tableName) {
- if (StringUtils.isEmpty(tableName))
- return null;
- return tp.getTable(getBytes(tableName));
- }
- /* 转换byte数组 */
- public static byte[] getBytes(String str) {
- if (str == null)
- str = "";
- return Bytes.toBytes(str);
- }
- /**
- * 查询数据
- * @param tableKey 表标识
- * @param queryKey 查询标识
- * @param startRow 开始行
- * @param paramsMap 参数集合
- * @return 结果集
- */
- public static TBData getDataMap(String tableName, String startRow,
- String stopRow, Integer currentPage, Integer pageSize)
- throws IOException {
- List<Map<String, String>> mapList = null;
- mapList = new LinkedList<Map<String, String>>();
- ResultScanner scanner = null;
- // 为分页创建的封装类对象,下面有给出具体属性
- TBData tbData = null;
- try {
- // 获取最大返回结果数量
- if (pageSize == null || pageSize == 0L)
- pageSize = 100;
- if (currentPage == null || currentPage == 0)
- currentPage = 1;
- // 计算起始页和结束页
- Integer firstPage = (currentPage - 1) * pageSize;
- Integer endPage = firstPage + pageSize;
- // 从表池中取出HBASE表对象
- HTableInterface table = getTable(tableName);
- // 获取筛选对象
- Scan scan = getScan(startRow, stopRow);
- // 给筛选对象放入过滤器(true标识分页,具体方法在下面)
- scan.setFilter(packageFilters(true));
- // 缓存1000条数据
- scan.setCaching(1000);
- scan.setCacheBlocks(false);
- scanner = table.getScanner(scan);
- int i = 0;
- List<byte[]> rowList = new LinkedList<byte[]>();
- // 遍历扫描器对象, 并将需要查询出来的数据row key取出
- for (Result result : scanner) {
- String row = toStr(result.getRow());
- if (i >= firstPage && i < endPage) {
- rowList.add(getBytes(row));
- }
- i++;
- }
- // 获取取出的row key的GET对象
- List<Get> getList = getList(rowList);
- Result[] results = table.get(getList);
- // 遍历结果
- for (Result result : results) {
- Map<byte[], byte[]> fmap = packFamilyMap(result);
- Map<String, String> rmap = packRowMap(fmap);
- mapList.add(rmap);
- }
- // 封装分页对象
- tbData = new TBData();
- tbData.setCurrentPage(currentPage);
- tbData.setPageSize(pageSize);
- tbData.setTotalCount(i);
- tbData.setTotalPage(getTotalPage(pageSize, i));
- tbData.setResultList(mapList);
- } catch (IOException e) {
- e.printStackTrace();
- } finally {
- closeScanner(scanner);
- }
- return tbData;
- }
- private static int getTotalPage(int pageSize, int totalCount) {
- int n = totalCount / pageSize;
- if (totalCount % pageSize == 0) {
- return n;
- } else {
- return ((int) n) + 1;
- }
- }
- // 获取扫描器对象
- private static Scan getScan(String startRow, String stopRow) {
- Scan scan = new Scan();
- scan.setStartRow(getBytes(startRow));
- scan.setStopRow(getBytes(stopRow));
- return scan;
- }
- /**
- * 封装查询条件
- */
- private static FilterList packageFilters(boolean isPage) {
- FilterList filterList = null;
- // MUST_PASS_ALL(条件 AND) MUST_PASS_ONE(条件OR)
- filterList = new FilterList(FilterList.Operator.MUST_PASS_ALL);
- Filter filter1 = null;
- Filter filter2 = null;
- filter1 = newFilter(getBytes("family1"), getBytes("column1"),
- CompareOp.EQUAL, getBytes("condition1"));
- filter2 = newFilter(getBytes("family2"), getBytes("column1"),
- CompareOp.LESS, getBytes("condition2"));
- filterList.addFilter(filter1);
- filterList.addFilter(filter2);
- if (isPage) {
- filterList.addFilter(new FirstKeyOnlyFilter());
- }
- return filterList;
- }
- private static Filter newFilter(byte[] f, byte[] c, CompareOp op, byte[] v) {
- return new SingleColumnValueFilter(f, c, op, v);
- }
- private static void closeScanner(ResultScanner scanner) {
- if (scanner != null)
- scanner.close();
- }
- /**
- * 封装每行数据
- */
- private static Map<String, String> packRowMap(Map<byte[], byte[]> dataMap) {
- Map<String, String> map = new LinkedHashMap<String, String>();
- for (byte[] key : dataMap.keySet()) {
- byte[] value = dataMap.get(key);
- map.put(toStr(key), toStr(value));
- }
- return map;
- }
- /* 根据ROW KEY集合获取GET对象集合 */
- private static List<Get> getList(List<byte[]> rowList) {
- List<Get> list = new LinkedList<Get>();
- for (byte[] row : rowList) {
- Get get = new Get(row);
- get.addColumn(getBytes("family1"), getBytes("column1"));
- get.addColumn(getBytes("family1"), getBytes("column2"));
- get.addColumn(getBytes("family2"), getBytes("column1"));
- list.add(get);
- }
- return list;
- }
- /**
- * 封装配置的所有字段列族
- */
- private static Map<byte[], byte[]> packFamilyMap(Result result) {
- Map<byte[], byte[]> dataMap = null;
- dataMap = new LinkedHashMap<byte[], byte[]>();
- dataMap.putAll(result.getFamilyMap(getBytes("family1")));
- dataMap.putAll(result.getFamilyMap(getBytes("family2")));
- return dataMap;
- }
- private static String toStr(byte[] bt) {
- return Bytes.toString(bt);
- }
- public static void main(String[] args) throws IOException {
- // 拿出row key的起始行和结束行
- // #<0<9<:
- String startRow = "aaaa#";
- String stopRow = "aaaa:";
- int currentPage = 1;
- int pageSize = 20;
- // 执行hbase查询
- getDataMap("table", startRow, stopRow, currentPage, pageSize);
- }
- }
- class TBData {
- private Integer currentPage;
- private Integer pageSize;
- private Integer totalCount;
- private Integer totalPage;
- private List<Map<String, String>> resultList;
- public Integer getCurrentPage() {
- return currentPage;
- }
- public void setCurrentPage(Integer currentPage) {
- this.currentPage = currentPage;
- }
- public Integer getPageSize() {
- return pageSize;
- }
- public void setPageSize(Integer pageSize) {
- this.pageSize = pageSize;
- }
- public Integer getTotalCount() {
- return totalCount;
- }
- public void setTotalCount(Integer totalCount) {
- this.totalCount = totalCount;
- }
- public Integer getTotalPage() {
- return totalPage;
- }
- public void setTotalPage(Integer totalPage) {
- this.totalPage = totalPage;
- }
- public List<Map<String, String>> getResultList() {
- return resultList;
- }
- public void setResultList(List<Map<String, String>> resultList) {
- this.resultList = resultList;
- }
- }
相关推荐
在实际开发中,`hbase分页代码`通常会封装成一个工具类或者服务接口,以方便在应用程序中调用。这样的代码可能包括以下部分: - 查询方法,接受当前页数和每页大小作为参数,计算StartRow和StopRow,然后执行HBase的...
在实际应用中,可能会涉及到更复杂的查询场景,如使用Filter进行数据筛选,或者利用HBase的Region Split特性优化存储和查询性能。对于过滤器,可以创建各种类型的Filter对象,如`PrefixFilter`、`RowFilter`等,并将...
本篇将详细介绍HBase如何利用PageFilter实现分页,并探讨其工作原理及应用场景。 **一、PageFilter简介** PageFilter是HBase提供的一个内置过滤器,专门用于实现分页查询。它允许用户在查询时设定每页的数据量,...
总的来说,PageFilter是HBase中实现数据分页查询的一种有效手段,尤其适用于大数据量的场景,能有效提高系统性能,减少内存消耗。通过理解并熟练应用PageFilter,我们可以更好地管理和优化Java中的HBase操作。提供的...
在HBase这个分布式列式数据库中,分页查询是一个重要的功能,尤其对于处理大量数据时,它能够有效地提高性能并优化用户...在实际应用中,结合Java API和合理的配置,可以充分利用HBase的优势,处理大数据量的分页场景。
HBase特别适合于需要快速随机读写大量数据的应用场景。HBase架构与传统的关系型数据库(如MySQL、PostgreSQL、Oracle等)有着显著的区别,其设计在某些方面为了扩展性和灵活的模式(Schema)而牺牲了一些传统特性。...
7. 分页查询:通过设置Scan对象的startRow和stopRow实现分页。 8. 行限制:设置Scan对象的maxVersions属性控制返回的数据版本数量。 五、HBase优化 优化HBase涉及到多个层面,如: 1. 表设计:合理规划列族和行键,...
- **HBase API之命名空间与表管理**:除了基本的数据读写操作外,还应掌握如何管理和操作HBase中的命名空间与表。这包括如何创建新的命名空间和表、如何调整表结构(例如添加或删除列族)以及如何管理和监控表的性能...
**应用场景** Phoenix 主要适用于需要高效、实时查询的场景,例如互联网日志分析、物联网数据处理、实时监控等。通过 Phoenix,可以将复杂的 MapReduce 或 Hive 查询转换为简单的 SQL,降低了开发复杂度,提升了数据...
在探讨HBase查询技巧及其应用时,我们聚焦于利用各种Filter进行精确且高效的查询操作。HBase,作为一款分布式、版本化的列存储数据库,专为海量数据设计,其查询性能和灵活性很大程度上依赖于合理使用Filter。以下是...
### Phoenix技术与应用 #### PHOENIX简介 Phoenix 是一款为 HBase 提供 SQL 查询功能的客户端。它能够使用户以类似关系数据库的方式对 HBase 进行操作,极大地提高了 HBase 的易用性和查询效率。Phoenix 主要应用...
- 分页、Grid、TreeMenu、Tab、下拉框等功能组件,需与后端服务配合,以实现数据交互和处理。 3. **任务调度**: - 使用开源组件Quartz进行任务调度,同时需要验证框架(如Struts2)与前端分页组件的协同工作。 ...
分词器如jieba分词库广泛应用于中文场景。 二、推荐系统的接口实现 1. 用户行为记录:推荐系统需要收集用户浏览、点击、购买等行为数据,为此需设计用户行为上报接口,如`/api/user行为/记录`,用于收集用户实时...
V0.1实现了单索引和多数据类型的查询,V0.2引入了排序、分页和缓存优化,V0.3则进一步提升了性能,加入了布隆索引和服务器端的并行处理。 Pharos的架构由Client API、协调器、Server和协处理器组成。客户端定义查询...
6. **Paged Queries**:支持分页查询,通过Row Value Constructors (RVC)和OFFSET with LIMIT实现高效数据浏览。 7. **Salted Tables**:为了解决row key顺序写入导致的数据热点问题,Phoenix引入了盐分表(Salting...
- 内存管理:虚拟内存、分页与分段、内存泄漏的概念。 - 并发与并行:并发是宏观上的同时执行,而并行是微观上的同时执行。 4. **数据库**: - ACID特性:原子性、一致性、隔离性和持久性。 - SQL基础:SELECT...
如Redis(内存数据结构存储)、Tokyo Cabinet(磁盘存储的键值数据库)、Cassandra(Facebook开发的分布式数据库)、MongoDB(文档型数据库)、HBase(Google Bigtable的开源实现)等,它们分别针对不同的应用场景和...
因此,可以采用不同的数据库策略:前台采用哈希分片,后台使用分页和排序功能,甚至结合NoSQL数据库如Hbase或搜索引擎如ES,以满足不同场景的需求。 总的来说,数据库架构设计是一个不断演进的过程,需要根据业务...
作为计算机科学或相关领域的毕业设计,这个项目提供了一个实际的应用场景,让学生能够将所学理论知识应用于实际问题。通过这个项目,学生可以锻炼到数据库管理、Web服务开发、大数据处理和机器学习等多个方面的技能...