HBase Filter 使用过滤器: //集合用于存储过滤条件 List<String> array = new ArrayList<String>(); //加入过滤条件 array.add("action,event,TreasureDetail"); array.add("action,label,Enter"); //调用相应过滤方法 HBaseManager.setAndFilter(scan, array); 定义过滤方法: public static void setAndFilter(Scan scan, List<String> array) { FilterList filterList = new FilterList(); for (String v : array) { //循环判断每个条件 String[] s = v.split(","); filterList.addFilter(new SingleColumnValueFilter(//将条件加入过滤器 Bytes.toBytes(s[0]), Bytes.toBytes(s[1]), CompareOp.EQUAL, Bytes.toBytes(s[2]) ) ); } scan.setFilter(filterList); } 参数详解: org.apache.hadoop.hbase.filter.CompareFilter.CompareOp CompareOp.GREATER//大于 CompareOp.GREATER_OR_EQUAL//大于或者登录 CompareOp.EQUAL//等于 CompareOp.NOT_EQUAL//不等与 CompareOp.NO_OP //无操作 CompareOp.LESS //小于 CompareOp.LESS_OR_EQUAL //小于或者等于 FilterList filterList = new FilterList(); //各个条件之间是且的关系(默认) FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ONE); //各个条件之间是或的关系 //方法传入的List集合参数中包含了一个个的条件 FilterList.Operator.MUST_PASS_ONE//OR FilterList.Operator.MUST_PASS_ALL //AND org.apache.hadoop.hbase.filter.FilterList org.apache.hadoop.hbase.filter.SingleColumnValueFilter SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareOp compareOp, byte[] value) */ /** 使用过滤器: FilterList list = new FilterList(); HBaseManager.addTimeStampExcludeFilter(list, HTableConstant.Bytes.toBytes("imei"), HTableConstant.Bytes.toBytes("date"), Bytes.toBytes(date) ); scan.setFilter(list); 定义过滤器方法: public static void addTimeStampExcludeFilter(FilterList list, byte[] family, byte[] qualifier, byte[] timestamp) { SingleColumnValueExcludeFilter filter = new SingleColumnValueExcludeFilter(family, qualifier, CompareOp.GREATER_OR_EQUAL, timestamp); list.addFilter(filter); } 参数详解: list, //FilterList对象 HTableConstant.Bytes.toBytes("imei"),//列族 HTableConstant.Bytes.toBytes("date"), //列 Bytes.toBytes(date)//value org.apache.hadoop.hbase.filter.SingleColumnValueExcludeFilter //简单的列值排除 SingleColumnValueExcludeFilter(byte[] family, byte[] qualifier, CompareFilter.CompareOp compareOp, byte[] value) family:列族 qualifier:列 compareOp:过滤条件 value:值 org.apache.hadoop.hbase.filter.SingleColumnValueFilter //简单的列值包含 SingleColumnValueFilter(byte[] family, byte[] qualifier, CompareFilter.CompareOp compareOp, byte[] value) family:列族 qualifier:列 compareOp:过滤条件 value:值 org.apache.hadoop.hbase.filter.SkipFilter.SkipFilter(Filter filter) //跳过 ase.filter.QualifierFilter //限定词过滤 QualifierFilter(CompareOp op, WritableByteArrayComparable qualifierComparator) op:过滤条件 qualifierComparator:
相关推荐
HBase过滤器允许我们在读取数据时对结果进行筛选,减少不必要的I/O操作,从而提高效率。它们是通过实现`Filter`接口来定义的,并在扫描器(Scanner)执行时应用。HBase提供了多种内置过滤器,如...
Hbase过滤器详解,基础篇
过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于 HBase 本身提供的三维有序(行键,列,版本有序),这些过滤器可以高效地完成查询过滤的任务,带有过滤器条件的 RPC 查询请求会把过滤器分发到各个...
HBase过滤器可以根据条件过滤数据。例如,使用RowFilter过滤器来过滤Student表中的数据: scan 'Student', FILTER => "RowFilter(=, 'binary:0001')" HBase行键过滤器 ------------------ HBase行键过滤器用于...
HBase提供了多种过滤器机制,其中PageFilter是一种非常实用的工具,它可以帮助我们在查询时限制返回的结果数量,从而优化性能和内存使用。下面我们将深入探讨PageFilter的使用方法,并通过源代码示例来解释其工作...
本文将深入探讨HBase的比较过滤器RowFilter的使用源码,帮助你理解如何在实际项目中应用这一关键功能。 RowFilter是HBase提供的过滤器之一,它允许我们根据行键(row key)来过滤表中的数据。在Java API中,我们...
#### HBase过滤器 - **ColumnPrefixFilter**:介绍如何使用ColumnPrefixFilter来根据列前缀筛选数据。这种过滤器适用于当需要基于列名前缀来检索数据的场景。 - **FamilyFilter**:讲解FamilyFilter的使用方法,这...
`HbaseCusFilter.java`文件可能包含自定义的HBase过滤器,这是HBase查询机制的一个重要部分。通过继承HBase的Filter接口,我们可以编写自己的过滤逻辑,以实现更复杂的查询需求。 `App.java`可能是主应用程序类,它...
布隆过滤器是一种高效的空间节约型数据结构,用于判断一个元素是否可能存在于一个大型集合中。它由布隆于1970年提出,主要利用了位数组和多个哈希函数来实现。基本思想是通过将元素经过多个独立的哈希函数映射到一个...
HBase过滤器可以增强HBase查询数据的功能,减少服务端返回给客户端的数据量。过滤器的父类有比较过滤器、专用过滤器等。 MapReduce掌握情况 MapReduce掌握情况可以通过测试MapReduce掌握情况和Hive的QL语言掌握...
通过对HBase的使用注意事项进行深入分析,我们了解到在表设计阶段应当重视RowKey的设计及其对数据分布的影响,同时还需要考虑压缩算法、过滤器的选择以及版本控制等因素。此外,对于Java API的使用也需要注意资源...
3. 查询过滤:支持多种过滤器查询是HBase数据库界面管理器的一大亮点。用户可以使用行键、列族、列限定符和时间戳等条件组合,构建复杂的查询语句,快速定位所需数据。 4. 导入导出:工具提供数据导入和导出功能,...
课时8:过滤器实战之专用过滤器与FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协处理器实战之Region级别原理剖析 课时12:Observer协处理器...