`
ssydxa219
  • 浏览: 622441 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

hbase shell

 
阅读更多

一、shell 查询

hbase 查询相当简单，提供了get和scan两种方式，也不存在多表联合查询的问题。复杂查询需通过hive创建相应外部表，用sql语句自动生成mapreduce进行。
但是这种简单，有时为了达到目的，也不是那么顺手。至少和sql查询方式相差较大。

hbase 提供了很多过滤器，可对行键，列，值进行过滤。过滤方式可以是子串，二进制，前缀，正则比较等。条件可以是AND,OR等 组合。所以通过过滤，还是能满足需求，找到正确的结果的。

1.1 过滤器类型

HBase 最新官方文档中文版(http://abloz.com/hbase/book.html)中有对过滤器的描述。过滤器分为5种类型：

  1. 构造型过滤器：用于包含其他一组过滤器的过滤器。包括：FilterList
  2. 列值型过滤器：对每列的值进行过滤的. 相当于sql查询中的=和like 包括： 
    SingleColumnValueFilter
    比较器，包括：
RegexStringComparator 支持值比较的正则表达式
SubstringComparator 用于检测一个子串是否存在于值中。大小写不敏感。 
BinaryPrefixComparator 二进制前缀比较
BinaryComparator 二进制比较
  3. 键值元数据过滤器：用于对列进行过滤的。包括： 
    FamilyFilter 用于过滤列族。 通常，在Scan中选择ColumnFamilie优于在过滤器中做。
QualifierFilter 用于基于列名(即 Qualifier)过滤.
ColumnPrefixFilter 可基于列名(即Qualifier)前缀过滤。
MultipleColumnPrefixFilter 和 ColumnPrefixFilter 行为差不多，但可以指定多个前缀。
ColumnRangeFilter 可以进行高效内部扫描。  

     

  4. Rowkey：对行键进行过滤。通常认为行选择时Scan采用 startRow/stopRow 方法比较好。然而 RowFilter 也可以用。
  5. 工具：如FirstKeyOnlyFilter用于统计行数。

二、示例

 

1.FirstKeyOnlyFilter,一种方便的计算行数的过滤器

hbase(main):002:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>'info',FILTER=>"(FirstKeyOnlyFilter())"}
 0000000001                       column=info:loginid, timestamp=1343625459713, value=jjm168131013
 0000000002                       column=info:loginid, timestamp=1343625459713, value=loveswh
...
21 row(s) in 0.5480 seconds

2.列名子串进行过滤

hbase(main):006:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:'],FILTER=>"(QualifierFilter(=,'substring:id'))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000001 column=info:userid, timestamp=1343625459713, value=168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh
0000000002 column=info:userid, timestamp=1343625459713, value=100898152

hbase(main):005:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:loginid'],FILTER=>"(QualifierFilter(=,'substring:id'))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh

hbase(main):007:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:'],FILTER=>"(QualifierFilter(=,'substring:nid'))"}
ROW COLUMN+CELL
0000000001 column=info:loginid, timestamp=1343625459713, value=jjm168131013
0000000002 column=info:loginid, timestamp=1343625459713, value=loveswh

hbase(main):008:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:'],FILTER=>"(QualifierFilter(=,'substring:nick'))"}
ROW COLUMN+CELL
0000000001 column=info:nick, timestamp=1343625459713, value=\xE5\xAE\xB6\xE6\x9C\x89\xE8\x99\x8E\xE5\xAE\x9
D
0000000002 column=info:nick, timestamp=1343625459713, value=loveswh08

3.Value 过滤

3.1 正则过滤
hbase(main):004:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>'info',FILTER=>"(SingleColumnValueFilter('info','nick',=,'regexstring:.*99',true,true))"}
ROW                               COLUMN+CELL
 0000000009                       column=info:loginid, timestamp=1343625459713, value=zgh1968
 0000000009                       column=info:nick, timestamp=1343625459713, value=zwy99
 0000000009                       column=info:score, timestamp=1343625459713, value=5
 0000000009                       column=info:userid, timestamp=1343625459713, value=100366262
1 row(s) in 0.2520 seconds

3.2 子串
需导入
import org.apache.hadoop.hbase.filter.CompareFilter
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter
import org.apache.hadoop.hbase.filter.SubstringComparator
import org.apache.hadoop.hbase.util.Bytes

hbase(main):028:0> scan 'toplist_ware_ios_1001_201231',{COLUMNS =>'info:nick', FILTER=>SingleColumnValueFilter.new(Bytes.toBytes('info'),Bytes.toBytes('nick'),CompareFilter::CompareOp.valueOf('EQUAL'),SubstringComparator.new('8888'))}
ROW COLUMN+CELL
0000000002 column=info:nick, timestamp=1343625446556, value=\xE7\x81\x8F????\xE3\x81\x8A??8888
1 row(s) in 0.0330 seconds

3.3 二进制
子串等不支持多字节文字，所以用二进制来进行比较
hbase(main):010:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:'],FILTER=>"(QualifierFilter(=,'substring:nick') AND ValueFilter(=,'binary:7789\xE6\xB4\x81') )"}
ROW COLUMN+CELL
0000000016 column=info:nick, timestamp=1343625459713, value=7789\xE6\xB4\x81
1 row(s) in 0.1710 seconds

4 综合列名子串和值二进制比较

hbase(main):012:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>['info:'],FILTER=>"(QualifierFilter(=,'substring:nick') AND ValueFilter(=,'binary:7789\xE6\xB4\x81') )"}
ROW COLUMN+CELL
0000000016 column=info:nick, timestamp=1343625459713, value=7789\xE6\xB4\x81
1 row(s) in 0.0120 seconds
hbase(main):014:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>"info:",FILTER=>"(PrefixFilter('000000002')) AND (QualifierFilter(=,'substring:nick')"}
ROW COLUMN+CELL
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000021 column=info:nick, timestamp=1343625459713, value=\xE5\xB0\x8F\xE7\xBD\x97\xE6\x95\x99\xE7\xBB\x8
 31
2 row(s) in 0.0440 seconds

5. 行查询

 

hbase(main):005:0> get 'toplist_ware_ios_1009_201231','0000000009'
COLUMN CELL
 info:loginid timestamp=1343625459713, value=zgh1968
 info:nick timestamp=1343625459713, value=zwy99
 info:score timestamp=1343625459713, value=5
 info:userid timestamp=1343625459713, value=100366262
4 row(s) in 0.1000 seconds
hbase(main):006:0> get 'toplist_ware_ios_1009_201231','0000000009','info:nick'
COLUMN CELL
 info:nick timestamp=1343625459713, value=zwy99
1 row(s) in 0.0100 seconds
hbase(main):009:0> scan 'toplist_ware_ios_1009_201231',FILTER=>"PrefixFilter('000000002')"
ROW COLUMN+CELL
 0000000020 column=info:loginid, timestamp=1343625459713, value=jjm169212318
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000020 column=info:score, timestamp=1343625459713, value=1
 0000000020 column=info:userid, timestamp=1343625459713, value=169212318
 0000000021 column=info:loginid, timestamp=1343625459713, value=jjm169371841
 0000000021 column=info:nick, timestamp=1343625459713, value=\xE5\xB0\x8F\xE7\xBD\x97\xE6\x95\x99\xE7\xBB\x8
 31
 0000000021 column=info:score, timestamp=1343625459713, value=1
 0000000021 column=info:userid, timestamp=1343625459713, value=169371841
2 row(s) in 0.0180 seconds
hbase(main):010:0> scan 'toplist_ware_ios_1009_201231',FILTER=>"PrefixFilter('000000002')",LIMIT=>1
ROW COLUMN+CELL
 0000000020 column=info:loginid, timestamp=1343625459713, value=jjm169212318
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
 0000000020 column=info:score, timestamp=1343625459713, value=1
 0000000020 column=info:userid, timestamp=1343625459713, value=169212318
1 row(s) in 0.0170 seconds
hbase(main):011:0> scan 'toplist_ware_ios_1009_201231',{COLUMNS=>"info:nick",FILTER=>"PrefixFilter('000000002')",LIMIT=>1}
ROW COLUMN+CELL
 0000000020 column=info:nick, timestamp=1343625459713, value=Denny_feng
1 row(s) in 0.0160 seconds
分享到：
| hbase问题总结
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    hbase shell操作指南

    HBase shell是一个命令行工具，它允许用户以交互的方式运行HBase的命令，如建表、插入数据、数据查询等操作。 1. 进入HBase Shell 要进入HBase Shell，首先需要确认HBase服务已经启动。然后切换到HBase的安装目录，...

    hbase-shell批量命令执行脚本的方法

    批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...

    hbase shell常用命令汇总

    ### HBase Shell 常用命令详解 #### 一、HBase Shell 概述 HBase Shell 是一个基于命令行的工具，用于与HBase进行交互。它提供了一系列丰富的命令来执行基本的数据管理任务，例如创建表、插入数据、查询数据等。...

    nosql实验四-HBaseShell API操作.docx

    HBase Shell API 操作详解 HBase 是一个基于分布式文件系统的 NoSQL 数据库，提供了丰富的 API 来进行数据操作。在本实验中，我们将使用 HBase Shell API 来实现基本的数据操作，包括创建表、查看所有表、插入数据...

    HBase Shell命令大全_monday的博客-CSDN博客_hbase shell.html

    HBase Shell命令大全_monday的博客-CSDN博客_hbase shell.html

    hbase shell使用文档

    这是本人使用hbase shell的部分经验总结，一般的shell使用全部包括了。 版本，压缩，region等需求，以及使用普通shell使用hbase shell

    hbase shell常用命令

    ### HBase Shell 常用命令详解 #### 一、概述 HBase 是一个分布式的、面向列的开源数据库，其设计受到了 Google 的 Bigtable 的启发。它非常适合于非结构化数据存储，提供了高可靠性、高性能、面向列、可伸缩等特点...

    hbase的shell操作

    根据提供的文件信息，本文将详细介绍HBase的Shell操作及其应用场景，包括如何创建表、插入数据、查询数据等关键操作。 ### HBase Shell简介 HBase Shell是HBase提供的一种交互式命令行工具，用于执行HBase操作。它...

    Hbase shell常用命令.docx

    在HBase这个分布式列式数据库中，Shell是一个用于与HBase交互的命令行工具，它提供了丰富的命令来执行各种操作。以下是对HBase Shell中一些常用命令的详细说明： 1. **创建表**： `create '表名称', '列族名称 1',...

    实验手册_HbaseShell.docx

    HBase Shell 实验手册 HBase Shell 是 Hadoop 家族中的一员，它是一个基于 HBase 的 Shell 交互式命令行工具，提供了便捷的方式来管理和操作 HBase 数据库。本实验手册旨在指导用户掌握 HBase Shell 的使用，了解 ...

    HDFS_HBaseShell的常用命令

    HDFS_HBaseShell的常用命令 HDFS(Hadoop Distributed File System)是一种分布式文件系统，主要用于存储和管理大规模数据。HBase 是一个基于HDFS的NoSQL数据库，用于存储和管理大规模结构化和半结构化数据。HBase ...

    Hadoop技术-HBaseShell常用命令.pptx

    HBase Shell常用命令 HBase Shell是Hadoop技术中的一个重要组件，用于管理和操作HBase数据库。以下是HBase Shell的常用命令，分为一般操作、数据定义语言（DDL）操作和数据操作语言（DML）操作三大类。 一般操作 ...

    hbase shell命令详解

    HBase Shell是HBase提供的一个交互式命令行工具，用于管理和操作HBase数据库。在这里，我们将深入探讨HBase Shell的各种命令。 1. **创建表（create）**： 使用`create '表名', '列族'`命令来创建表，如`create '...

    Hbase shell及常用命令

    HBase shell及常用命令 HBase Shell是HBase数据库的命令行工具，用户可以使用HBase Shell与HBase进行交互。HBase Shell是一个封装了Java客户端API的JRuby应用软件，在HBase的HMaster主机上通过命令行输入hbase ...

    hbase_shell操作命令

    在HBase中，HBase Shell是一个交互式的命令行工具，用于管理和操作HBase数据库。它提供了多种命令，帮助用户执行常见的数据库操作，如创建、读取、更新和删除数据。以下是一些重要的HBase Shell操作命令及其详细说明...

    hbase_shell操作命令汇总

    在HBase中，HBase Shell是用于管理与操作HBase数据库的一个交互式命令行工具。以下是一些HBase Shell的基本操作命令的详细说明： 1. **创建表** (`create`): 使用`create`命令创建一个新的HBase表。例如： ``` ...

    hbase基本概念和hbase shell常用命令用法

    HBase Shell是HBase提供的交互式命令行工具，用于操作HBase表。以下是一些常用的HBase Shell命令： 1. **create**：创建表，如`create 'testTable', 'cf'` 创建一个名为testTable的表，包含一个列族cf。 2. **put*...

    Hbase 的shell基本操作

    下面是基于标题“Hbase的shell基本操作”和描述“hadoop集群环境下hbase的shell基本操作命令”，结合给定的部分内容，所生成的详细知识点： 1. 进入HBase命令行： 通过命令`hbase shell`可以进入HBase的命令行界面...

Magicbox
Global site tag (gtag.js) - Google Analytics