`
wbj0110
  • 浏览: 1604287 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

使用HBase EndPoint(coprocessor)进行计算

阅读更多

如果要统对hbase中的数据,进行某种统计,比如统计某个字段最大值,统计满足某种条件的记录数,统计各种记录特点,并按照记录特点分类(类似于sql的group by)~

常规的做法就是把hbase中整个表的数据scan出来,或者稍微环保一点,加一个filter,进行一些初步的过滤(对于rowcounter来说,就加了FirstKeyOnlyFilter),但是这么做来说还是会有很大的副作用,比如占用大量的网络带宽(当标级别到达千万级别,亿级别之后)尤为明显,RPC的量也是不容小觑的。

理想的方式应该是怎样?

拿row counter这个简单例子来说,我要统计总行数,如果每个region 告诉我他又多少行,然后把结果告诉我,我再将他们的结果汇总一下,不就行了么?
现在的问题是hbase没有提供这种接口,来统计每个region的行数,那是否我们可以自己来实现一个呢?
没错,正如本文标题所说,我们可以自己来实现一个Endpoint,然后让hbase加载起来,然后我们远程调用即可。

什么是Endpoint?

先弄清楚什么是hbase coprocessor

hbase有两种coprocessor,一种是Observer(观察者),类似于关系数据库的trigger(触发器),另外一种就是EndPoint,类似于关系数据库的存储过程。

观察者这里就多做介绍了,这里介绍Endpoint。

EndPoint是动态RPC插件的接口,它的实现代码被部署在服务器端(regionServer),从而能够通过HBase RPC调用。客户端类库提供了非常方便的方法来调用这些动态接口,它们可以在任意时候调用一个EndPoint,它们的实现代码会被目标region远程执行,结果会返回到终端。用户可以结合使用这些强大的插件接口,为HBase添加全新的特性。

怎么实现一个EndPoint

1. 定义一个新的protocol接口,必须继承CoprocessorProtocol.
2. 实现终端接口,继承抽象类BaseEndpointCoprocessor,改实现代码需要部署到
3. 在客户端,终端可以被两个新的HBase Client API调用 。单个region:HTableInterface.coprocessorProxy(Class<T> protocol, byte[] row) 。rigons区域:HTableInterface.coprocessorExec(Class<T> protocol, byte[] startKey, byte[] endKey, Batch.Call<T,R> callable),这里的region是通过一个row来标示的,就是说,改row落到那个region,RPC就发给哪个region,对于start-end的,[start,end)范围内的region都会受到RPC调用。

如图

\"><br> </p>
<div id=

 
分享到:
评论

相关推荐

    hbase_coprocessor_hbase_coprocessorjava_源码

    首先,Coprocessor是HBase中的一个关键概念,它是一种分布式计算框架,可以在数据存储的位置进行计算,减少了网络传输带来的延迟,提高了数据处理效率。HBase Coprocessors分为两种类型:Observer和Endpoint。...

    HBase-coprocessor.pptx

    此外,由于Coprocessor运行在HBase的Region Server上,因此它可以充分利用计算本地性,进行高效的数据聚合和计算。 Coprocessor 使用场景: 1. Observer:Observer是运行在Region Server上的,它监听并响应HBase的...

    藏经阁-HBase Coprocessor-22.pdf

    1.灵活的数据处理:HBase Coprocessor 可以对 HBase 表中的数据进行灵活的处理,例如聚合计算、排序、过滤等。 2.高性能:HBase Coprocessor 可以提高 HBase 的性能,例如使用 Endpoint 机制可以实现高效的数据处理...

    HBase Coprocessor 优化与实验

    ### HBase Coprocessor 优化与实验 #### HBase及Coprocessor概述 HBase是一种非关系型、面向列的分布式数据库系统,它基于Hadoop之上构建,旨在为大规模数据提供高可靠、高性能的支持。HBase的核心优势在于其能够...

    HBaseCoprocessor的实现与应用.pdf

    HBase Coprocessor 为 HBase 提供了极大的灵活性和可扩展性,通过 Endpoint 和 Observer 接口,不仅可以提高数据处理的效率,还能简化复杂的业务逻辑。无论是实现高效的聚合操作还是创建和维护二级索引,Coprocessor...

    2-6+HBase+Coprocessor.pdf

    总的来说,HBase Coprocessor通过Endpoint机制实现了服务端的扩展,允许在RegionServer上执行用户定义的计算逻辑,优化了数据处理流程,降低了延迟,增强了系统的整体处理能力。这对于大数据场景下的实时分析和复杂...

    使用Hbase协作器(Coprocessor)同步数据到ElasticSearch(hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本)

    1. **开发Coprocessor**:创建一个继承自HBase的Endpoint类,并实现相关接口,比如`BulkLoadEndpoint`,以处理批量数据同步。在`bulkLoadHFile`方法中,我们可以获取到写入HBase的数据,并将其发送到Elasticsearch。...

    HBaseCoprocessor的实现与应用.zip

    2. **Coprocessor类型**:HBase中的Coprocessor分为两种类型:Observer和Endpoint。Observer是在特定操作(如Get、Put、Scan等)执行时被调用,用于拦截并修改操作行为;Endpoint则更像是服务,可以在RegionServer上...

    alibaba-developer#Ali-Open-Source#开发部署HBase Endpoint类型的Coprocess

    1.文档编写目的 1.环境准备 2.使用Protobuf生成序列化类 3.Endpoint Coprocessor服务端实现 4.Endpoint Coproc

    Hbase coprecessor

    本文将对 HBase Coprocessor 进行详细介绍,并通过具体的应用案例来阐述其在实际场景中的作用。 #### HBase Coprocessor 的起源与发展 HBase Coprocessor 的设计灵感来源于 Google Bigtable 中的 Coprocessor 概念...

    大数据平台-HBASE

    - 插入数据时,可以使用HBase Shell输入特定的命令,如`put`命令。查询数据则可以通过`get`或`scan`命令,后者支持过滤器来精确匹配数据。 11. **删除操作**: - 删除单个单元格数据,使用`delete`命令指定行键、...

    云数据库HBase企业级安全解析.pdf

    - EXEC(‘X’):执行权限,允许执行coprocessor endpoint所需要的操作权限; - CREATE(‘C’):表级别的DDL操作权限,如建表、修改表、增加列簇等; - ADMIN(‘A’):管理员权限,允许对表进行compact(合并)...

    基于协处理器的HBase分类二级索引设计.pdf

    本文将深入探讨如何利用协处理器(Coprocessor)机制在HBase中实现分类的二级索引设计,以提升查询效率并优化数据管理。 一、HBase与二级索引 HBase是建立在Hadoop之上的键值存储系统,它以行键、列族、列限定符和...

    基于云计算的大数据应用.pdf

    通过Coprocessor、Observer和Endpoint等功能,可以实现更高级别的数据处理和聚合操作,同时与Solr集成,提供全文搜索能力。 在数据挖掘方面,关联规则、聚类和预测等算法帮助企业发现数据背后的潜在价值。R语言因其...

Global site tag (gtag.js) - Google Analytics