`
小网客
  • 浏览: 1243824 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

一种在HBase中创建多个索引的实现方式

 
阅读更多

Hbase只支持一级索引,如rowkey,那么如果有创建多个索引的需求如何实现呢?

场景如下:

学生表涉及信息如下:

学号
身份证id
姓名
专业

 

在对学生查询的时候需求如下:

1.基于学号
2.基于身份证号
3.基于姓名

 

那么如何实现所级索引?

实现方案:

1.创建索引表用于存储二级索引到rowkey的映射关系

2.查询的时候先查询索引表然后在查询主表

3.设定job定时更新索引表

以身份证和姓名为例,身份证号为主表rowkey

index_student_name

rowkey:name

value:身份证id列表(有重名情况)

 

 

 

0
2
分享到:
评论
1 楼 406657836 2013-09-09  
可以看看 华为的 基于coprcessor的 secondary index。你举例子这几个字段都不会是 经常变动的,做索引效率还是挺高的!copressor肯定会影响你的写入性能,看你的写入量了。

华为 copressor地址https://github.com/Huawei-Hadoop/hindex

相关推荐

    HBase二级索引

    然而,HBase本身并没有内置多维索引的功能,也就是说它不支持对单个行内的多个字段建立索引。在某些场景下,如果没有二级索引的支持,对于基于非rowkey字段的查询性能会大打折扣,尤其是在需要快速检索和复杂查询的...

    hbase二级索引

    在HBase的二级索引实现中,一种常见的方式是使用 Coprocessor。Coprocessor 是 HBase 内置的一种扩展机制,允许我们在RegionServer端运行自定义的代码,这样可以更接近数据,减少网络传输,提高性能。通过编写并部署...

    HOS:一种基于HBase的分布式存储系统设计与实现.pdf

    本篇论文介绍了一种名为HOS的分布式存储系统的设计与实现,该系统基于HBase构建。随着大数据时代的到来,数据量的增长速度前所未有,为了有效存储和管理这些数据,迫切需要创新的存储方案。HBase作为一个分布式、列...

    360HBASE二级索引的设计与实践

    HBase作为一种分布式、面向列的NoSQL数据库系统,在处理大规模数据集方面表现出色。然而,默认情况下HBase仅支持基于RowKey的查询,这限制了其在多维度查询场景下的应用。针对这一问题,360公司在实际项目中引入了二...

    HBase实现批量存取

    HBase是一种分布式、高性能、基于列族的NoSQL数据库,由Apache基金会开发并维护,它在大规模数据存储和实时查询方面表现出色。本项目实现了在Eclipse环境下对HBase的批量存取操作,这对于理解HBase的工作原理以及...

    HBase详细讲解

    在HBase中,表被划分为多个列族,每个列族下又可以有多个列。这种设计使得针对特定列族的数据读写更高效,且可以对每个列族单独设置访问控制和存储策略。 2. 大表处理能力:在HBase中,一张表可以容纳数十亿行和数...

    HBase分布式二级索引通用方案研究.pdf

    二级索引是数据库中除了主键索引之外的另一种索引类型,它通常建立在数据表的某个或某几个列上,以便于高效执行多条件组合查询。在传统关系型数据库中,二级索引支持多条件组合查询,对提高数据检索效率尤为重要。但...

    基于hadoop和hbase的分布式索引集群研究.pdf

    分布式索引集群的研究涉及了Hadoop的架构、HDFS文件系统、MapReduce算法和HBase存储模型等多个方面的知识。Hadoop的架构分为Master节点和Slave节点,其中Master节点运行NameNode、SecondaryNameNode、JobTracker等...

    Python-HBase中文参考指南

    在Python中创建HBase表,需要指定表名、列族以及可能的初始配置。例如,使用`happybase`创建一个名为`my_table`,列族为`cf1`的表: ```python import happybase connection = happybase.Connection('localhost') ...

    Hbase二级索引与JOIN

    - **定义**: HBase是一种分布式、面向列的NoSQL数据库系统,它基于Google Bigtable论文实现。 - **底层架构**: HBase的数据存储依赖于Hadoop Distributed File System (HDFS)。 - **特点**: - 高可用性:通过自动...

    hbase安装与hbase架构说明

    HBase中的多个HMaster通过Zookeeper的Master Election机制来确定主HMaster,主HMaster负责管理表和Region的生命周期,包括表的创建、删除、分区以及Region的迁移等。 HRegionServer是HBase的核心组件,它们直接处理...

    HBaseCoprocessor的实现与应用.pdf

    HBase Coprocessor 是一种灵活且强大的机制,它允许用户在 HBase 上执行自定义逻辑,从而扩展 HBase 的功能。Coprocessor 的灵感源自 BigTable 的协处理器概念,其主要特性在于能够在 HBase 的 RegionServer 上执行...

    基于协处理器的HBase分类二级索引设计.pdf

    同时,需要额外创建一个或多个列族来存储索引数据,每个索引对应一个列族。 2. 索引更新:每当主表中的数据发生变化时,协处理器会在写操作完成后触发索引更新。Observer可以在Put或Delete操作后捕获变更,然后计算...

    hbase在阿里搜索中的应用

    HBase是一种分布式、可扩展、非关系型数据库,它是Apache Hadoop的一个子项目,适用于存储稀疏数据集。在大数据领域,尤其是在搜索和推荐系统的应用上,HBase以其高吞吐量和良好的水平扩展能力,被广泛采纳。接下来...

    CCIndex、HBase集群索引互补

    具体来说,CCIndex通过对每个副本进行重新组织,创建出多个包含完整行数据的补充性聚类索引表。这种设计使得原本需要进行多次随机读取的查询可以转化为一次或几次连续的范围扫描,从而极大地提高了查询效率。 #### ...

    HBase查询的深入研究

    对于第一种情况,新创建的表中所有PUT操作的数据都驻留在memstore中。由于memstore内建了基于rowkey的索引,因此查询速度非常快。通过索引,HBase可以迅速定位到所需数据并返回。这种情况下,查询过程相对简单直接。...

    hbase原理和设计

    1. **表和列族**:HBase中的表由行和列组成,列被划分成多个列族(Column Family),每个列族又包含多个列。RowKey是表的主键,用于排序记录。 2. **Region**:随着数据量的增长,表会自动分割成多个Region。每个...

    hbase+phoenix 本机测试文档

    在HBase中,数据默认按行键排序,但通过Phoenix的二级索引,我们可以根据列族中的某一列或多列创建索引,实现快速的多维度查询。这在处理复杂查询和提升查询效率方面非常有用。 在实际测试中,我们可以使用`CREATE ...

Global site tag (gtag.js) - Google Analytics