`

hbase在海量用户日志中快速查询访问路径的使用场景

 
阅读更多
1.背景:之前公司客服部门有个查看游戏用户行为记录的需求,开始我给他们做了个hive的接口,可以暂时满足需求,但是查询速度太慢,得一分钟出结果。
后来我在想能不能用hbase快速查询出用户路径。
查询条件有通行证账号、行为类型、时间范围。
2.设计方案:用hbase的scan接口,hbase的key设计成 通行证账号_行为类型_时间
用如下方式查询:scan 'hbase_gameCenter_log',{COLUMNS =>['oneline:guid','oneline:report'],LIMIT =>10, STARTROW => 'u52fa532aae9dc_login_2013-04-01 00:00:00', STOPROW=>'u52fa532aae9dc_login_2016-04-01 00:00:00'}
3.缺点:能满足的查询场景有限。
4.优点:在这个查询需求场景下海量日志查询是1秒以下查询出结果。
0
0
分享到:
评论

相关推荐

    hbase安装与使用

    2. **启动 HBase**:在根用户下启动 HBase 服务。 ```bash bin/start-hbase.sh ``` 3. **进入 HBase Shell**:启动完成后,可以通过命令 `bin/hbaseshell` 进入 HBase 命令行工具。 4. **验证数据**:在 HBase...

    hbase安装和使用

    3. **配置环境变量**:在`~/.bashrc`或`~/.bash_profile`中添加HBase的路径到`PATH`和`JAVA_HOME`变量中,例如: ``` export HBASE_HOME=/path/to/hbase export PATH=$PATH:$HBASE_HOME/bin export JAVA_HOME=/...

    HbaseReferenceBook-Hbase参考指南英文版

    它能够有效地处理各种实时读写的大数据操作,特别适合于需要快速访问大量数据的应用场景,例如日志处理、实时分析等。由于其良好的扩展性和出色的性能,HBase已经得到了众多公司的广泛使用,如Facebook、Yahoo!和...

    hadoop+hbase jar包

    例如,互联网公司可能用Hadoop来处理海量的用户访问日志,而HBase则可以用来存储用户的实时行为数据,提供快速的查询服务。 5. 集成与开发:开发人员在使用Hadoop和HBase时,需要在代码中引入对应的jar包,并配置...

    phoenix-hbase-2.4-5.1.2

    HBase作为一个分布式、列式存储的NoSQL数据库,为海量数据提供了高效、实时的访问能力;而Phoenix则是在HBase之上构建的一层SQL查询接口,使得HBase可以更方便地被SQL熟练开发者所使用。本文将基于"phoenix-hbase-...

    hbase指南 英文

    这种存储方式非常适合大数据场景下的高效查询操作,尤其是在需要访问大量相似数据的情况下。 **1.5 HBase 与关系型数据库** 尽管 HBase 和传统的关系型数据库都能用于数据存储,但它们的设计目标和适用场景不同。...

    hbase-0.94.16-security.tar.gz

    安装HBase 0.94.16-security,首先需要解压下载的".tar.gz"文件,通常在命令行中使用"tar -zxvf hbase-0.94.16-security.tar.gz"命令。解压后,将HBase的配置文件如"conf/hbase-site.xml"进行适当修改,设置Hadoop的...

    hbase-1.3.6-bin.tar.gz

    在大型分布式系统中,HBase提供实时读写访问,且能够支持PB级别的数据存储。它构建在Hadoop文件系统(HDFS)之上,充分利用了Hadoop的分布式存储和计算能力。 标题"Hbase-1.3.6-bin.tar.gz"表明这是HBase的1.3.6...

    HBase 编程指南

    以下是从该指南中提炼出的核心知识点,旨在帮助读者快速把握HBase的核心概念、安装配置流程、客户端API使用技巧以及高级应用策略。 ### HBase简介 HBase作为Hadoop生态系统中的一个关键组件,是一种可扩展的、...

    hbase-0.94.0.tar.gz

    HBase是Apache Hadoop生态系统中的一个分布式、高性能、版本化、列式存储的数据库,特别适合处理海量数据。HBase 0.94.0是HBase的一个早期版本,尽管现在已经有了更新的版本,但这个版本仍然有其历史价值和学习意义...

    hbase-2.2.6-bin.tar.zip

    总的来说,HBase 2.2.6是一个强大的大数据存储解决方案,尤其适用于需要实时查询和处理海量数据的应用场景,如日志分析、物联网设备数据存储、实时推荐系统等。通过深入理解和掌握HBase,开发者可以构建出高效、可...

    hbase-1.2.9-bin.tar.gz

    在使用HBase时,理解Region Split策略非常重要,因为这直接影响数据分布和查询性能。你可以通过设置Region大小、预分区表以及合理选择行键来优化数据分布。 此外,HBase支持多种查询模式,包括随机读取、范围扫描...

    hadoop_hadoop-2.7.2-hbase-jar.rar linux下包

    通常,这样的JAR文件可能包含HBase的运行时库,用户可以将它添加到类路径中以运行HBase相关的Java应用程序或在Hadoop集群上部署HBase服务。 关于Hadoop和HBase的知识点: 1. **Hadoop**:Hadoop是Apache软件基金会...

    hbase-1.2.6-bin.tar.gz

    总的来说,HBase-1.2.6是一个强大的大数据存储解决方案,适用于需要实时查询大量结构化或半结构化数据的场景,如日志分析、物联网数据存储、实时监控等。通过深入理解和熟练使用,我们可以构建出高效、可扩展的数据...

    hbase11xwriter.zip

    2. **DataX作业配置**:在DataX的作业配置中,针对HBase Writer,除了基本的HBase连接信息(如Zookeeper地址、表名等),还需添加Kerberos相关配置,包括`principal`(服务主体名)和`keytab`路径。 3. **安全认证*...

    HBase 官方文档 中文版0.97.pdf

    HBase具有良好的水平扩展性,支持海量数据的实时读写访问,适用于大数据场景下的实时查询。 文档中提到的HBase版本0.97较之前版本(如0.90)有了大幅度的更新和补充,包括了大量新内容和章节结构上的调整。文档中还...

    10.Hadoop入门进阶课程_第10周_HBase介绍、安装与应用案例.pdf

    - **日志处理**:对于需要存储大量日志数据的场景,HBase也是一个很好的解决方案。 总之,HBase作为Hadoop生态系统中的重要组件之一,为大数据的存储和处理提供了强大的支持。通过了解其基本概念、数据模型、访问...

    基于Hadoop的Web日志分析.zip

    在大数据时代,数据的价值不言而喻,而Web日志作为互联网应用产生的海量数据源之一,其蕴含的信息对于优化网站性能、提升用户体验、进行用户行为分析等具有重要价值。Hadoop,作为开源的大数据处理框架,凭借其...

    shc-core-release.jar.zip

    在金融风控中,它能够快速处理海量交易数据,进行风险评估和预警;在电商推荐系统中,通过对用户行为数据的分析,SHC Core可以实时生成个性化推荐。 然而,使用SHC Core也需要注意一些挑战和最佳实践: 1. **性能...

Global site tag (gtag.js) - Google Analytics