`

hbase 自定义过滤器

 
阅读更多
//定义的过滤器(值过滤) 的类
// 写完定义过滤器的类  打成 jar  报 ,分发到 每个region  服务器中 
//分发完成后  需修改 hbase-env.sh  文件
//  export HBASE_CLASSPATH="jar  包路径 ,重新启动hbase";

public class TestFilter  extends FilterBase{
 private byte[] value=null;
 //判断每一行数据是否过滤
 private boolean filterbz=true;
 public TestFilter(){
  super();
 }
   public TestFilter(byte[] value){
    this.value=value;
   }
 public void write(DataOutput out) throws IOException {
  // TODO Auto-generated method stub
 Bytes.writeByteArray(out, value);
 }
 @Override
 public void reset(){
  this.filterbz=true;
 }
 public ReturnCode filterKeyValue(KeyValue kv){
  if(Bytes.compareTo(value, kv.getValue())==0){
   filterbz=false;
  }
  return ReturnCode.INCLUDE;
 }
  @Override
  public boolean filterRow(){
   return filterbz;
  }
 public void readFields(DataInput in) throws IOException {
  // TODO Auto-generated method stub
  this.value=Bytes.readByteArray(in);
 }

}

    //调用定义的过滤器
    public static void testglq(String tablename) throws IOException{
        HTable table = new HTable(getconfig(), tablename);
        Filter filter=new TestFilter(Bytes.toBytes("value1"));
     Scan scan=new Scan();
     scan.setFilter(filter);
        ResultScanner scanner=table.getScanner(scan);
     for (Result result : scanner) {
   System.out.println(result);
  }

    }
分享到:
评论

相关推荐

    spring-boot-starter-hbase自定义的spring-boot的hbasestarter

    《Spring Boot Starter HBase:构建高效HBase操作的利器》 在Java开发中,Spring Boot以其简洁、高效的...对于那些希望在Spring Boot项目中集成HBase的开发者来说,这个自定义启动器无疑是一个值得尝试的优秀选择。

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协处理器实战之Region级别原理剖析 课时12:Observer协处理器实战之表复制应用实战 课时13:Endpoint协处理...

    hbase-2.4.17-bin 安装包

    3. 查询数据:`get '表名', '行键'`获取整行数据,或`scan '表名'`进行全表扫描,可以指定过滤器等条件。 4. 删除数据:`delete '表名', '行键', '列族:列限定符', [时间戳]`删除特定单元格,可选时间戳指定版本。 ...

    hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包

    3. **布隆过滤器**:使用布隆过滤器减少不必要的磁盘I/O,提高查询效率。 4. **Compaction**:定期进行Compaction减少文件数量,提升读写性能。 5. **BlockCache**:配置BlockCache大小,缓存最近访问的数据,提高...

    apache-phoenix-5.0.0-HBase-2.0-bin.tar.gz

    Apache Phoenix是构建在HBase之上的关系型数据库层,作为内嵌的客户端JDBC驱动用以对...直接使用HBase的API,结合协处理器(coprocessor)和自定义的过滤器的话,小范围的查询在毫秒级响应,千万数据的话响应速度为秒级

    java-hbase开发包

    4. **优化过滤器**:使用高效的过滤器可以减少不必要的网络传输和计算。 5. **监控性能**:定期检查HBase集群的CPU、内存和磁盘使用情况,确保系统的健康运行。 Java-HBase开发包是连接Java应用和HBase数据库的...

    hbase phoenix sql

    Phoenix的设计目标是让HBase的使用更加简单,不需要用户了解复杂的HBase API或自定义过滤器,从而降低门槛,增加使用HBase的用户基数。 ***是Phoenix的一个用户和贡献者,他们开源了这个项目,并向社区提供了丰富的...

    使用Hbase协作器(Coprocessor)同步数据到ElasticSearch(hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本)

    HBase的协作器机制允许开发者在HBase的RegionServer端或客户端插入自定义逻辑,实现对数据的处理和操作。通过编写Coprocessor,我们可以实现数据写入HBase的同时,将其同步到Elasticsearch。在HBase 1.2.0-cdh5.8.0...

    hbase的操作数据demo

    如果需要按条件过滤数据,可以使用布林表达式或者自定义过滤器。 数据的插入操作通常涉及`put`命令,它将数据写入指定行和列。例如,`put 'table', 'rowkey', 'cf:qualifier', 'value'`会将值''value''写入表'table...

    hbase-2.4.11-src.tar.gz

    HBase提供了丰富的过滤器和扫描器机制,用户可以通过定义特定的过滤规则来筛选需要的数据,提高查询效率。 9. ** Coprocessor机制**: HBase的Coprocessor允许用户在RegionServer端实现自定义逻辑,如数据校验、...

    hbase权威指南源码

    6. **过滤器和扫描器**:源码可能包含各种过滤器和扫描器的实现,用于高效地查询和过滤数据。 7. ** Region分裂**:源码会展示HBase如何自动进行Region分裂,以保持性能和负载均衡。 8. **MapReduce与HBase**:书...

    MapReduce on Hbase

    这些API的文档会详细介绍如何使用各种功能,例如如何连接到HBase集群、如何执行CRUD(创建、读取、更新、删除)操作以及如何实现自定义的过滤器和比较器等。 此外,API文档中也包含了如何设置和配置HBase作业的示例...

    hbase-2.0.2-bin.tar

    用户可以通过指定开始和结束键以及过滤器来定制扫描行为。 9. **Cell级别的安全性**: HBase支持细粒度的访问控制,可以为每个单元格(Cell)设置不同的权限。 10. **Compaction**: HBase会定期进行Major ...

    hbase-1.3.6-src.tar.gz

    - 自定义扩展,满足特定业务需求,如开发自定义过滤器、Region分裂策略等。 通过对HBase 1.3.6源码的学习和研究,开发者不仅可以掌握HBase的基本操作,还能深入了解大数据存储技术,为实际项目中的问题解决提供...

    HBase Design Patterns

    6. **过滤器机制**:HBase提供了丰富的过滤器类,如RowFilter、ColumnValueFilter等,用于在数据检索时进行条件筛选,提升查询效率。 7. **数据模型设计**:设计良好的HBase表结构对于实现高效查询至关重要。例如,...

    hbase-0.98.6-cdh5.3.6.zip

    8. **过滤器(Filter)**:HBase支持多种过滤器,允许用户在查询时指定条件,提高查询效率。 9. ** Coprocessor机制**:HBase 0.98.6引入了Coprocessor框架,允许用户自定义插件在Region服务器端执行,实现数据的...

    HBase Java 编程-v2.pdf

    - **ByteArrayComparable**:这一概念主要涉及到自定义过滤器的实现,用户可以通过实现ByteArrayComparable接口来自定义过滤规则,从而满足更加复杂的查询需求。 ### 结论 通过本课程的学习,你不仅能够熟练地使用...

    hbase权威指南.源代码

    此外,源代码还可能涵盖了HBase的高级特性,如Coprocessors(协处理器)、Bulk Load(批量加载)、Filters(过滤器)等。Coprocessors允许我们在RegionServer上实现自定义逻辑,从而进行数据验证、数据计算或者提供...

Global site tag (gtag.js) - Google Analytics