`
lookqlp
  • 浏览: 346863 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

HBase数据查询之常规查询

阅读更多
简述

订单常规查询用到的字段可能有:店铺id、订单创建时间(不变量)、订单id、订单状态等等。

如下设计适用场景:a.dp_id+created段查询(+状态或者其他filter条件)

                            b.tid查询

表设计

分两张表:

1.用于常规查询表,rowkey:dp_id+created+tid   cf:status:value  cf:buyer_nick:value...。查询条件的必须输入项有:created开始时间和结束时间。可有可无项:cf(列簇)中的字段,用于filter过滤。该表属于长表,字段数不多,占存储不大。

   当dp_id不均衡时,可使用hash(dp_id)%regions的方法解决rowkey:hash(dp_id)%regions+dp_id+created+tid。

   建议输入的created时间段不要跨度太大,防止hbase scan的数据太多而影响查询效率。

2.订单详情表,rowkey:tid反转  cf:data:...。反转的目的是均衡region。



其他

建议使用spring for hadoop框架,该框架管理了hbase client资源,很多操作可以省略。参见http://projects.spring.io/spring-hadoop/Spring for Apache Hadoop
分享到:
评论

相关推荐

    hbase海量数据的全量导入方法

    #### HBase数据结构与Hadoop生态集成 HBase基于Hadoop框架构建,其底层存储依赖于HDFS(Hadoop Distributed File System),而计算层则利用了MapReduce引擎。HBase的核心数据结构是HStore,它负责存储数据并处理...

    Hadoop之Hbase从入门到精通.doc

    HBase数据模型主要包括三部分: 1. Row Key:行键,Table的主键,Table中的记录按照Row Key排序 2. Timestamp:时间戳,每次数据操作对应的时间戳,可以看作是数据的version number 3. Column Family:列簇,Table...

    Hadoop之Hbase从入门到精通 .doc

    * Native Java API:最常规和高效的访问方式,适合 Hadoop MapReduce Job 并行批处理 HBase 表数据。 * HBase Shell:HBase 的命令行工具,最简单的接口,适合 HBase 管理使用。 * Thrift Gateway:利用 Thrift 序列...

    HBase 2.0 MOB 保存图片小视频利器-upload_HBase2.0MOB_

    用户只需按照常规方式查询Key,HBase会透明地返回对应的文件内容。 5. 数据清理:由于MOB特性可能导致大量小文件的积累,定期执行Mob Compaction是必要的,以优化存储空间并提高查询效率。 6. 性能监控:通过HBase...

    hbase常见错误整理3年运维经验整理

    3. **优化数据写入模式**:采用批量写入或异步写入等方式,减少对HDFS的压力。 4. **监控和优化网络**:检查网络状况,确保网络稳定可靠,必要时可考虑优化网络配置。 通过以上措施,可以有效缓解高并发写入场景下...

    阿里HBase的数据管道设施技术.pptx

    Bulkload 的工作流程包括将原始数据分区、排序,然后写入HDFS,最后直接加载到HBase中,通过避免常规写入过程中的多次磁盘I/O,显著提升了导入效率。然而,在多集群环境下,数据一致性成为一个挑战,因为很难保证...

    HBase同步复制.pdf

    HBase同步复制技术涉及多个知识点,包括复制的使用场景、异步复制与同步复制的区别与特点、复制的架构设计以及复制过程中的数据一致性问题等。下面将详细介绍这些知识点。 首先,复制技术在HBase中的使用场景主要...

    Hbase_v1.0.1.1API (CHM 格式)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    Hbase v1.1.5_API CHM格式

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    05-Hbase安装部署及优化.pdf

    5. MapReduce:通过直接使用MapReduce作业处理Hbase数据。 四、Hbase服务安装 Hbase服务安装包括系统配置、安装Hbase集群以及启动服务等步骤。在安装过程中需要考虑到硬件资源分配、版本兼容性、网络配置等因素以...

    Hbase.pptx

    5. Pig和Hive:分别提供流式编程和类似SQL的方式来处理HBase数据。 【HBase应用场景】 1. 平台类:作为其他软件的底层存储,如Kylin、TT和Titan等。 2. 用户行为类:处理各种业务系统的用户数据,如淘宝收藏、交易...

    HBase_0.94.5_API (CHM格式)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    havrobase:使用Avro将所有值存储在HBase中,而不是常规列中

    然而,“使用Avro将所有值存储在HBase中,而不是常规列中”的方法意味着Havrobase改变了这种结构,它不将数据分散在不同的列中,而是将整个行的数据序列化为一个Avro对象,并将其作为一个单独的值存储在HBase的一个...

    Chapter4-厦门大学-林子雨-大数据技术原理与应用-第四章-分布式数据库HBase41.pptx

    * 数据操作:HBase 操作不存在复杂的表与表之间的关系,只有简单的插入、查询、删除、清空等,而关系数据库中包含了丰富的操作,其中会涉及复杂的多表连接。 * 存储模式:HBase 是基于列存储的,每个列族都由几个...

    大数据技术分享 Hadoop技术分享 360超大规模HBase集群的改进 共43页.pdf

    MetaRegion负责存储全局的元数据信息,对查询性能至关重要。 - 为了解决这个问题,360引入了专门的MetaServer,它们仅服务于MetaRegion,确保了MetaRegion的性能,并预留了必要的资源,如网络、IO以及RPC处理能力。...

    大数据分析平台系统开发.pdf

    4. RDBMS,提供企业高度汇总的统计数据,满足企业常规的统计报表需求,降低使用门槛。 5. HBase集群,提供大数据快速查询能力,满足对大数据的查询获取需求。 大数据分析平台系统开发的实施步骤包括: 1. Linux...

    数据仓库建设方案详细.docx

    - 数据存储:采用混合模式,结合Hdfs(分布式文件系统)、Hbase(NoSQL数据库)和RDBMS(关系型数据库管理系统),以支持分布式存储海量数据。 - 数据分析:支持传统的在线分析处理(OLAP)以及基于Spark的常规机器...

    数据仓库建设方案61305.docx

    数据分析则支持OLAP和基于Spark的常规机器学习算法,以便进行深入的业务洞察和故障诊断。数据服务总线则负责统一管理和调度数据资源,对外提供数据服务。 在数据采集阶段,专家系统数据仓库的数据来源包括实时数据...

Global site tag (gtag.js) - Google Analytics