`
sunasheng
  • 浏览: 122586 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

HBase条件过滤时注意

阅读更多
在hbase条件过滤时一定要注意,过滤的条件一定要包含在Scan中,否则过滤无效。
 
过滤无效:
 
Scan scan = new Scan();
scan.setCaching(300);
scan.addFamily(HTableConstant.IPJ_STATICS_ACTION_FAMILY);//action
 
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_APP_ID_QUALIFIER); //action:app_id
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPj_STATICS_VERSION_QUALIFIER);//action:version
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPj_STATICS_IMEI_QUALIFIER);   //action:imei
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_DATE_QUALIFIER);   //action:date
 
List<String> array = new ArrayList<String>();
array.add("action,event,应用");
array.add("action,label,启动");
HBaseManager.setAndFilter(scan, array);
 
 
过滤有效:
Scan scan = new Scan();
scan.setCaching(300);
scan.addFamily(HTableConstant.IPJ_STATICS_ACTION_FAMILY)//action
 
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_APP_ID_QUALIFIER);  //action:app_id
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPj_STATICS_VERSION_QUALIFIER); //action:version
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPj_STATICS_IMEI_QUALIFIER);    //action:imei
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_DATE_QUALIFIER);    //action:date
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_EVENT_QUALIFIER);   //action:event
scan.addColumn(
		HTableConstant.IPJ_STATICS_ACTION_FAMILY,
		HTableConstant.IPJ_STATICS_LABEL_QUALIFIER);   //action:label
 
List<String> array = new ArrayList<String>();
array.add("action,event,应用");
array.add("action,label,启动");
HBaseManager.setAndFilter(scan, array);
 
 
分享到:
评论

相关推荐

    java操作Hbase之比较过滤器RowFilter的使用源码

    在实际应用中,你可能还需要注意的是,过滤器的性能与数据分布和HBase的表结构设计密切相关。因此,合理地设计过滤器和表结构,可以大大提高查询效率。 总结起来,Java操作HBase时,RowFilter是强大的数据筛选工具...

    java操作Hbase之Hbase专用过滤器PageFilter的使用源代码

    然后,我们可以将这个过滤器添加到Scan对象中,Scan对象是用于定义HBase查询条件的: ```java Scan scan = new Scan(); scan.setFilter(pageFilter); ``` 接下来,使用HBase的Table对象执行扫描操作: ```java ...

    Hbase数据库界面管理器

    3. 查询过滤:支持多种过滤器查询是HBase数据库界面管理器的一大亮点。用户可以使用行键、列族、列限定符和时间戳等条件组合,构建复杂的查询语句,快速定位所需数据。 4. 导入导出:工具提供数据导入和导出功能,...

    Hbase shell及常用命令

    HBase过滤器可以根据条件过滤数据。例如,使用RowFilter过滤器来过滤Student表中的数据: scan 'Student', FILTER =&gt; "RowFilter(=, 'binary:0001')" HBase行键过滤器 ------------------ HBase行键过滤器用于...

    HBase基本操作.pdf

    HBase是一种开源的非关系型分布式...需要注意的是,实验手册中提供的命令格式和使用说明是非常基础的入门指引,对于深入应用HBase来说,掌握高级的Filter使用、时间戳和版本控制、以及数据批量导入方法将更为关键。

    hbase的操作数据demo

    如果需要按条件过滤数据,可以使用布林表达式或者自定义过滤器。 数据的插入操作通常涉及`put`命令,它将数据写入指定行和列。例如,`put 'table', 'rowkey', 'cf:qualifier', 'value'`会将值''value''写入表'table...

    thrift1 查询hbase

    7. **优化与注意事项**:在实际应用中,需要考虑性能优化,如批量操作、合理的数据模型设计、使用过滤器减少网络传输等。同时,确保HBase和Thrift服务器的安全配置,防止未经授权的访问。 综上所述,"thrift1 查询...

    hbase-0.92.1.tar.gz

    10. **Scanning**:HBase提供了一种扫描机制,可以按行或列族进行数据检索,还可以通过过滤器进行条件筛选。 11. **Replication**:HBase 0.92.1版本已经支持数据复制,可以创建集群之间的数据备份,提高数据的可用...

    HBase 官方文档

    - **限制**:列举 HBase 在设计和使用时应遵循的限制条件。 - **模式设计用例**:提供具体的模式设计实例,帮助理解设计原则。 #### 八、HBase 与 MapReduce - **Map-Task 分割**:解释 HBase 如何与 MapReduce ...

    hbase java api 所需最精简 jar

    然而,值得注意的是,精简版的JAR包可能不包含所有的功能,如果需要高级特性,比如分布式协调、复制或者复杂的过滤器,可能需要引入更完整的HBase依赖。 总的来说,了解并正确使用HBase的Java API对于Java开发者来...

    HBase官方文档中文版

    - **限制与模式设计用例**:列出了HBase在使用过程中的一些限制条件,并给出了实际场景下的设计示例。 #### 七、HBase与MapReduce集成 - **Map-Task分割**:解释了HBase是如何被MapReduce任务分割的,以便更高效地...

    HBase权威指南中文版+官方文档

    - **限制**:列出HBase设计与使用的限制条件。 #### 七、HBase与MapReduce - **Map-Task分裂**:解释如何利用MapReduce进行任务分割。 - **HBase MapReduce示例**:给出具体的MapReduce应用实例。 - **访问其他...

    spark使用java读取hbase数据做分布式计算.pdf

    `Scan`对象用于定义从HBase表中查询的条件,包括过滤器、时间戳范围等。`Base64.encodeBytes()`方法用于将字节数组编码为字符串,便于存储和传输。 接着,我们创建`JavaSparkContext`实例,这是Spark Java API的...

    HBase与hive整合 和 hive与hdfs结合的效率对比1

    HBase表数据的读取是通过Scanner实现的,如果存在过滤条件,Scanner会根据条件转化为Filter,尤其是针对rowkey的过滤。 二、查询性能比较 1. 全表扫描:在无缓存情况下,Hive on HBase的查询速度远低于Hive on ...

    HBase客户端说明1

    g) **过滤查询**:使用过滤器来进一步细化查询条件。 h) **添加数据项**:向表中插入新的数据记录。 i) **修改数据项**:更新已存在的数据项。 j) **复制编辑多个数据项**:批量操作,复制并修改多条数据。 k) ...

    HBaseHelper Hbase增删改查帮助类

    `HbaseCusFilter.java`文件可能包含自定义的HBase过滤器,这是HBase查询机制的一个重要部分。通过继承HBase的Filter接口,我们可以编写自己的过滤逻辑,以实现更复杂的查询需求。 `App.java`可能是主应用程序类,它...

    五分钟学大数据-HBase 知识体系吐血总结1

    - HBase 支持多种过滤器,可以根据特定条件筛选数据,提高查询效率。例如,单行过滤器、比较过滤器、依赖于行键的过滤器等。 3. **根据 rowkey 删除数据** - 可以直接通过行键删除单条记录,这是 HBase 中最直接...

    HBaseCoprocessor的实现与应用.zip

    5. **Observer的使用**:Observer可以用于实现细粒度的数据访问控制,例如,在数据写入时进行合法性检查,或在读取数据时添加额外的过滤条件。例如,ColumnVisibilityEnforcementObserver可以用来限制用户访问敏感...

    python hbase读取数据发送kafka的方法

    在`HbaseOpreator`类中,定义一个`scanTablefilter`方法,该方法接受一个过滤条件字符串,用于筛选HBase中的行。在示例中,我们创建了一个`TScan`对象并设置了过滤器,然后打开一个扫描器并获取结果。 ```python ...

Global site tag (gtag.js) - Google Analytics