`
bupt04406
  • 浏览: 347699 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hbase shell

 
阅读更多

hbase shell 命令

 

 

mvn clean; mvn package -DskipTests=true -Dhadoop.profile=2.0

 

 

https://code.google.com/p/powermock/issues/detail?id=504

There is a work-around for this issue: run the junit tests with a '-noverify' jvm argument
 

 

 

scan 'MEMBER_INFO', {STARTROW => '\\x00\\x00\\x00\\x00\\x00\\x9F\\xBF\\xF4\\x00\\x00\\x00\\x00\\x10\\xB2\\xF2\\xBE', LIMIT => 1000}

STOPROW 

 

scan ‘t1′, {RAW => true, VERSIONS => 10}

 

scan ‘t1′, {RAW => true} 

 

scan ‘t1′, {RAW => true,  LIMIT => 10

 

scan 'xml', {RAW=>true}

scan 'xml', {RAW=>true, LIMIT=>2}

disable 'xml'

enable 'xml'

 

alter 'bts_ic', {NAME => 'f',  BLOOMFILTER => 'ROW', VERSIONS => '3000', COMPRESSION => 'LZO', BLOCKSIZE => '8192', IN_MEMORY => 'true'}


alter 'xml', METHOD=>'table_att','coprocessor'=>'|org.apache.hadoop.hbase.coprocessor.TransformeRegionCompaction|1001|'

 

alter 'TestTable', METHOD =>'table_att', 'coprocessor'=>'hdfs://localhost:9000/user/tianzhao/table-trace-coprocessor-0.0.1.jar|com.trace.coprocessor.TableTraceCoprocessor|1|trace.flume.hostname=10.101.72.48,trace.sampler.fraction=1.0'

 

alter 'tsdb', {NAME => 't', DATA_BLOCK_ENCODING => 'FAST_DIFF'}

 

alter 'xml', {NAME => 'a', BLOCKCACHE => 'false'} 

 

alter 'tianzhao', METHOD=>'table_att', MAX_FILESIZE => '102400000000'

alter 'table_1024B', METHOD=>'table_att', DURABILITY => 'ASYNC_WAL'

alter 'table_1024B', METHOD=>'table_att', DURABILITY => 'SYNC_WAL'

 

alter 'xml', METHOD=>'table_att_unset', NAME=>'coprocessor$1'
alter 'xml', METHOD=>'table_att_unset', NAME=>'coprocessor$2'
major_compact 'xml'

 

alter 't1', {NAME => 'f1',IN_MEMORY => 'true'}
alter 't1', {NAME => 'f1', METHOD => 'delete'}

 

alter 'ic_tianzhao', METHOD=>'table_att', MEMSTORE_FLUSHSIZE => '268435456' 

 

// TTL 3天

 

alter 'test',{NAME => 'info', TTL => '259200'}

you can specify 'FOREVER' for TTL by:

  create 't1',{NAME =>'f1', TTL =>2147483647}

 

 

create 'feature', {MAX_FILESIZE => '9223372036854775807'}, {NAME => 'f', BLOCKSIZE => '65535'} 

 

create 'market', {NAME => 'o', COMPRESSION => 'SNAPPY', BLOCKSIZE => '32768'}, {NUMREGIONS => 200, SPLITALGO => 'HexStringSplit'} 

 

create 'data_20220210', {DURABILITY => 'SKIP_WAL', MAX_FILESIZE => '549755813888', METADATA => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.DisabledRegionSplitPolicy'}}, {NAME => 'm', DATA_BLOCK_ENCODING => 'DIFF', COMPRESSION => 'GZ'}, {NAME => 't', DATA_BLOCK_ENCODING => 'DIFF', COMPRESSION => 'GZ'}

 

 

mvn clean test -Dtest=TestFullNotifyTask -DfailIfNoTests=false  

 

测试hbase.hstore.time.to.purge.deletes

put 't1','r5', 'f1:a','v5'

flush 't1'

scan 't1', {RAW => true, VERSIONS => 10}

delete 't1', 'r5', 'f1:a'

flush 't1'

scan 't1', {RAW => true, VERSIONS => 10}

major_compact 't1'

scan 't1', {RAW => true, VERSIONS => 10}

alter 't1',CONFIGURATION => {'hbase.hstore.time.to.purge.deletes' => '300000'} 

然后重新执行一遍看下效果。

 

 

http://wiki.apache.org/hadoop/Hbase/Shell

 

把下面的建表语句写到一个文件中create_table.sh

create 'bts2_ic2', {NAME => 'a', BLOOMFILTER => 'ROW', COMPRESSION => 'LZO', VERSIONS => '1', BLOCKSIZE => '8192'}

 

alter 'bts2_ic2', METHOD =>'table_att', 'coprocessor'=>'hdfs://dump002:9000/coprocessor/hbase-coprocessor-0.3.0.jar|com.dump.hbase.coprocessor.PriceTrendEndPoint|1', DEFERRED_LOG_FLUSH => 'true', MAX_FILESIZE => '102400000000', CONFIG => { 'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy'}

 

exit 

然后运行 $HBASE_HOME/bin/hbase shell create_table.sh即可,或者运行cat create_table.sh | $HBASE_HOME/bin/hbase shell 。

 

 

'SYSTEM.TABLE', {METHOD => 'table_att', coprocessor$1 => '|com.salesforce.phoenix.coprocessor.ScanRegionObserver|1|', coprocessor$2 => '|com.salesforce.phoenix.coprocessor.UngroupedAggregateRegionObserver|1|', coprocessor$3 => '|com.salesforce.phoenix.coprocessor.GroupedAggregateRegionObserver|1|', coprocessor$4 => '|com.salesforce.phoenix.join.HashJoiningRegionObserver|1|', coprocessor$5 => '|com.salesforce.phoenix.coprocessor.MetaDataEndpointImpl|1|', coprocessor$6 => '|com.salesforce.phoenix.coprocessor.MetaDataRegionObserver|2|', CONFIG => {'SPLIT_POLICY' => 'com.salesforce.phoenix.schema.MetaDataSplitPolicy', 'UpgradeTo20' => 'true'}}, {NAME => '_0', DATA_BLOCK_ENCODING => 'FAST_DIFF', VERSIONS => '1000', KEEP_DELETED_CELLS => 'true'}

 

 

 http://learnhbase.wordpress.com/2013/03/02/hbase-shell-commands/

 

http://itindex.net/detail/46101-hbase-shell-%E5%91%BD%E4%BB%A4

 

http://www.tuicool.com/articles/uARbi2

 

create 't1', {NAME => 'f1', VERSIONS => 5}

put 't1', "row1", 'f1:1', "aaa"

scan 't1'

 

 Hbase 设置irbrc保存hbase的操作命令历史

http://blog.csdn.net/wisgood/article/details/23380907

 

Phoneix:

 

!tables

 

CREATE TABLE IF NOT EXISTS "t1" (
     row VARCHAR NOT NULL,
     "f1"."1" VARCHAR
     CONSTRAINT PK PRIMARY KEY (row)
);

select * from "t1";

drop table "t1"; // t1表里面的数据被删除掉了,但是table是存在的。

 

 ./sqlline.sh node35:2224 ../examples/stock_symbol.sql

./psql.sh node35:2224 ../examples/web_stat.sql ../examples/web_stat.csv ../examples/web_stat_queries.sql

./performance.sh node35:2224 1000000

 

performance.sh里面

# Create Table DDL

createtable="CREATE TABLE IF NOT EXISTS $table (HOST CHAR(2) NOT NULL,DOMAIN VARCHAR NOT NULL,

FEATURE VARCHAR NOT NULL,DATE DATE NOT NULL,USAGE.CORE BIGINT,USAGE.DB BIGINT,STATS.ACTIVE_VISITOR 

INTEGER CONSTRAINT PK PRIMARY KEY (HOST, DOMAIN, FEATURE, DATE)) 

SPLIT ON ('CSGoogle','CSSalesforce','EUApple','EUGoogle','EUSalesforce','NAApple','NAGoogle','NASalesforce');"

 


0: jdbc:phoenix:node35:2224> select count(*) from PERFORMANCE_1000000;
+----------+
| COUNT(1) |
+----------+
| 1000000  |
+----------+

0: jdbc:phoenix:node35:2224> select * from PERFORMANCE_1000000 limit 2;
+------+------------+------------+---------------------+----------+----------+----------------+
| HOST |   DOMAIN   |  FEATURE   |        DATE         |   CORE   |    DB    | ACTIVE_VISITOR |
+------+------------+------------+---------------------+----------+----------+----------------+
| CS   | Apple.com  | Dashboard  | 2013-10-22          | 425      | 1906     | 4744           |
| CS   | Apple.com  | Dashboard  | 2013-10-22          | 471      | 875      | 9533           |
+------+------------+------------+---------------------+----------+----------+----------------+

0: jdbc:phoenix:node35:2224> explain select count(*) from PERFORMANCE_1000000;
+------------+
|    PLAN    |
+------------+
| CLIENT PARALLEL 27-WAY FULL SCAN OVER PERFORMANCE_1000000 |
|     SERVER AGGREGATE INTO SINGLE ROW |
+------------+

0: jdbc:phoenix:node35:2224> explain select * from PERFORMANCE_1000000 limit 2;
+------------+
|    PLAN    |
+------------+
| CLIENT PARALLEL 27-WAY FULL SCAN OVER PERFORMANCE_1000000 |
|     SERVER FILTER BY PageFilter 2 |
| CLIENT 2 ROW LIMIT |
+------------+

 

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;


public class UsePhoenix {

  public static void main(String[] args) {

    try {
      // Register
      Class.forName("com.salesforce.phoenix.jdbc.PhoenixDriver");
      // Address
      String DBConnectionString = "jdbc:phoenix:10.232.98.35:2224";
      Connection connection = DriverManager.getConnection(DBConnectionString);

      Statement statement = connection.createStatement();
      ResultSet rs = statement
          .executeQuery("select count( *) from PERFORMANCE_1000000");
      rs.next();
      System.out.println("Count " + rs.getLong(1));

      connection.close();
    } catch (Exception e) {
      e.printStackTrace();
    }

  }

}

 

./psql.sh node35:2224 count.sql

./sqlline.sh node35:2224 count.sql

 

分享到:
评论

相关推荐

    hbase shell操作指南

    HBase shell是一个命令行工具,它允许用户以交互的方式运行HBase的命令,如建表、插入数据、数据查询等操作。 1. 进入HBase Shell 要进入HBase Shell,首先需要确认HBase服务已经启动。然后切换到HBase的安装目录,...

    hbase-shell批量命令执行脚本的方法

    批量执行hbase shell 命令 #!/bin/bash source /etc/profile exec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt' major_compact('t_abc') disable 't_abc' drop 't_abc' create...

    hbase shell常用命令汇总

    ### HBase Shell 常用命令详解 #### 一、HBase Shell 概述 HBase Shell 是一个基于命令行的工具,用于与HBase进行交互。它提供了一系列丰富的命令来执行基本的数据管理任务,例如创建表、插入数据、查询数据等。...

    nosql实验四-HBaseShell API操作.docx

    HBase Shell API 操作详解 HBase 是一个基于分布式文件系统的 NoSQL 数据库,提供了丰富的 API 来进行数据操作。在本实验中,我们将使用 HBase Shell API 来实现基本的数据操作,包括创建表、查看所有表、插入数据...

    HBase Shell命令大全_monday的博客-CSDN博客_hbase shell.html

    HBase Shell命令大全_monday的博客-CSDN博客_hbase shell.html

    hbase shell使用文档

    这是本人使用hbase shell的部分经验总结,一般的shell使用全部包括了。 版本,压缩,region等需求,以及使用普通shell使用hbase shell

    hbase shell常用命令

    ### HBase Shell 常用命令详解 #### 一、概述 HBase 是一个分布式的、面向列的开源数据库,其设计受到了 Google 的 Bigtable 的启发。它非常适合于非结构化数据存储,提供了高可靠性、高性能、面向列、可伸缩等特点...

    hbase的shell操作

    根据提供的文件信息,本文将详细介绍HBase的Shell操作及其应用场景,包括如何创建表、插入数据、查询数据等关键操作。 ### HBase Shell简介 HBase Shell是HBase提供的一种交互式命令行工具,用于执行HBase操作。它...

    Hbase shell常用命令.docx

    在HBase这个分布式列式数据库中,Shell是一个用于与HBase交互的命令行工具,它提供了丰富的命令来执行各种操作。以下是对HBase Shell中一些常用命令的详细说明: 1. **创建表**: `create '表名称', '列族名称 1',...

    实验手册_HbaseShell.docx

    HBase Shell 实验手册 HBase Shell 是 Hadoop 家族中的一员,它是一个基于 HBase 的 Shell 交互式命令行工具,提供了便捷的方式来管理和操作 HBase 数据库。本实验手册旨在指导用户掌握 HBase Shell 的使用,了解 ...

    HDFS_HBaseShell的常用命令

    HDFS_HBaseShell的常用命令 HDFS(Hadoop Distributed File System)是一种分布式文件系统,主要用于存储和管理大规模数据。HBase 是一个基于HDFS的NoSQL数据库,用于存储和管理大规模结构化和半结构化数据。HBase ...

    Hadoop技术-HBaseShell常用命令.pptx

    HBase Shell常用命令 HBase Shell是Hadoop技术中的一个重要组件,用于管理和操作HBase数据库。以下是HBase Shell的常用命令,分为一般操作、数据定义语言(DDL)操作和数据操作语言(DML)操作三大类。 一般操作 ...

    hbase shell命令详解

    HBase Shell是HBase提供的一个交互式命令行工具,用于管理和操作HBase数据库。在这里,我们将深入探讨HBase Shell的各种命令。 1. **创建表(create)**: 使用`create '表名', '列族'`命令来创建表,如`create '...

    Hbase shell及常用命令

    HBase shell及常用命令 HBase Shell是HBase数据库的命令行工具,用户可以使用HBase Shell与HBase进行交互。HBase Shell是一个封装了Java客户端API的JRuby应用软件,在HBase的HMaster主机上通过命令行输入hbase ...

    hbase_shell操作命令

    在HBase中,HBase Shell是一个交互式的命令行工具,用于管理和操作HBase数据库。它提供了多种命令,帮助用户执行常见的数据库操作,如创建、读取、更新和删除数据。以下是一些重要的HBase Shell操作命令及其详细说明...

    hbase_shell操作命令汇总

    在HBase中,HBase Shell是用于管理与操作HBase数据库的一个交互式命令行工具。以下是一些HBase Shell的基本操作命令的详细说明: 1. **创建表** (`create`): 使用`create`命令创建一个新的HBase表。例如: ``` ...

    hbase基本概念和hbase shell常用命令用法

    HBase Shell是HBase提供的交互式命令行工具,用于操作HBase表。以下是一些常用的HBase Shell命令: 1. **create**:创建表,如`create 'testTable', 'cf'` 创建一个名为testTable的表,包含一个列族cf。 2. **put*...

    Hbase 的shell基本操作

    下面是基于标题“Hbase的shell基本操作”和描述“hadoop集群环境下hbase的shell基本操作命令”,结合给定的部分内容,所生成的详细知识点: 1. 进入HBase命令行: 通过命令`hbase shell`可以进入HBase的命令行界面...

Global site tag (gtag.js) - Google Analytics