`
nannan408
  • 浏览: 1784342 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

hbase0.9x开发笔记(包括hbase的bug,coprocessor,分布式计算,scan)

 
阅读更多
1.前言。
   如题。
2.问题描述。(不断更新中)
  (1)hbase表在加入了coprocessor后,无法进行scan了,这应该是个bug.
  (2)hbase的split,Compaction,balance都是hbase的bug,这三个东西本身就不该存在。在不需要分布式计算的时候,这三个粗粒度的功能还凑合着可以在map-reduce 这种低效率任务中用用。但发展到分布式计算的今天,这三个功能必须去掉,或者完全由用户来决定,否则将对分布式运算起着致命性打击。顺便说一下,固定 region分布对于分布式运算非常重要,由固定region引发的问题,应该由用户自身承担和解决。
  (3)hbase0.92以上版本的coprocessor的内部scan不支持setStartRow,setStopRow,不支持filter,请问,这个东西还有什么用?希望官方能修复一下,这应该是功能缺失。
  (4)固定regionserver数,每个regionserver固定region现在还是不能严格保证,希望能保证一下,如果不能严格执行分布式运算,hbase的路就已经到头了。
  (5)由log引发的split应该算作hbase的一个bug,日志不应该split,统一放到master就好,如果需要备份,额外进行处理就好。
   (6)任何打断集群插入和查询,打断表的regions分配,打断集群工作的hbase自发操作都是bug,记住,开发者最需要的是,regions的数据是开发者自己通过设计可控制的,hbase不要随意去动。
  
 
0
3
分享到:
评论

相关推荐

    hbase 0.9 api

    HBase是一款分布式、高性能的键值存储系统,它构建在Hadoop之上,为大数据提供实时访问。"Hbase 0.9 API"指的是HBase在0.94.5版本中的客户端API,这个版本是HBase发展历史上的一个重要里程碑,为开发者提供了丰富的...

    hadoop2.2+hbase0.9x集群搭建手记之hadoop集群遇到的各种问题

    亲自搭建集群,由于代码文件比较大,需要的联系我。

    hbase-0.9.2.tar。gz

    HBase是Apache Hadoop生态系统中的一个分布式、高性能、版本化、列式存储的NoSQL数据库。这个压缩包文件“hbase-0.94.2.tar.gz”包含了HBase的0.94.2版本,这是一个针对大规模数据集进行实时查询和分析的开源数据库...

    spark使用java读取hbase数据做分布式计算.pdf

    总的来说,这个Java程序展示了如何使用Spark读取HBase数据并进行分布式计算。通过Spark的并行处理能力,可以高效地处理大规模的HBase数据,进行复杂的分析任务。要注意的是,实际应用中还需要考虑错误处理、资源管理...

    hbase 资源合集 hbase 企业应用开发实战 权威指南 hbase 实战 hbase 应用架构

    《HBase资源合集》包含了四本重量级的书籍,分别是《HBase企业应用开发实战》、《HBase权威指南》、《HBase实战》以及《HBase应用架构》。这些书籍深入浅出地探讨了HBase在大数据环境中的应用与开发,是学习和掌握...

    HBase Coprocessor 优化与实验

    ### HBase Coprocessor 优化与实验 #### HBase及Coprocessor概述 HBase是一种非关系型、面向列的分布式数据库系统,它基于Hadoop之上构建,旨在为大规模数据提供高可靠、高性能的支持。HBase的核心优势在于其能够...

    人工智能-项目实践-云计算-使用SpringBoot开发的基于HBASE的大数据存储分布式云计算笔记(后端).zip

    使用SpringBoot开发的基于HBASE的大数据存储分布式云计算笔记(后端) 基于HBASE的大数据存储分布式云计算笔记 云笔记使用大数据成熟的分布式存储解决方案,解决了传统笔记数据日益膨胀,数据丢失等问题。云笔记通过...

    HBase中Coprocessor的介绍以及实际业务场景中的使用.pdf

    讲师:陈杨——快手大数据高级研发工程师 ...内容概要:(1)讲解hbase coprocessor的原理以及使用场景,(2) coprocessor整个流程实战,包括开发,加载,运行以及管理(3)结合1,2分析coprocessor在rsgroup中的具体使用

    hadoop,hbase,zookeeper安装笔记

    hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记

    使用Hbase协作器(Coprocessor)同步数据到ElasticSearch(hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本)

    1. **开发Coprocessor**:创建一个继承自HBase的Endpoint类,并实现相关接口,比如`BulkLoadEndpoint`,以处理批量数据同步。在`bulkLoadHFile`方法中,我们可以获取到写入HBase的数据,并将其发送到Elasticsearch。...

    HBaseCoprocessor的实现与应用.pdf

    ### HBase Coprocessor 的实现与应用 #### 一、Coprocessor简介 HBase Coprocessor 是一种灵活且强大的机制,它允许用户在 HBase 上执行自定义逻辑,从而扩展 HBase 的功能。Coprocessor 的灵感源自 BigTable 的协...

    hbase_coprocessor_hbase_coprocessorjava_源码

    首先,Coprocessor是HBase中的一个关键概念,它是一种分布式计算框架,可以在数据存储的位置进行计算,减少了网络传输带来的延迟,提高了数据处理效率。HBase Coprocessors分为两种类型:Observer和Endpoint。...

    HBase企业应用开发实战-高清

    《HBase企业应用开发实战》是一本深度剖析HBase在实际业务场景中应用的专业书籍,旨在帮助读者理解和掌握HBase的核心功能、设计理念以及在大规模数据处理中的应用策略。HBase,作为Apache的一个分布式、高性能、基于...

    apache-kylin-3.0.2-bin-hbase1x.tar.gz

    3. **HBase集成**:此版本是针对HBase 1.x版本的,这意味着Kylin能够与HBase紧密集成,利用HBase的分布式存储和实时访问特性,为大数据提供强大的底层支持。 4. **SQL兼容性**:支持更多的SQL标准,使得Kylin能更好...

    HBase企业应用开发实战-马延辉 孟鑫

    3. **数据模型与操作**:作者深入探讨了HBase的数据模型,包括如何创建表、插入和查询数据,以及如何利用Scan操作高效地遍历数据。此外,还讨论了数据过滤、排序和聚合功能。 4. **HBase性能优化**:书中详细分析了...

    HBase 1.2 分布式安装分享

    ### HBase 1.2 分布式安装分享 #### 一、概述 HBase是Apache Hadoop生态系统中的一个重要的组成部分,它提供了一种分布式的、面向列的存储系统,能够处理非常大量的数据,并且可以实时地进行读写操作。本文档主要...

    【HBase企业应用开发】工作中自己总结的Hbase文档,非常全面!

    HBase是Apache软件基金会旗下一个开源的非关系型分布式数据库(NoSQL),是Google ...HBase企业应用开发涉及的HBase文档通常会包含以上介绍的这些知识点,并针对企业实际应用场景给出详细的实现方案和最佳实践。

Global site tag (gtag.js) - Google Analytics