`
bupt04406
  • 浏览: 351635 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hive 的 test case

    博客分类:
  • Hive
 
阅读更多
src/data 目录下面是输入数据
src/ql/src/test/queries下面是测试用例,clientpositive是运行成功的用例,clientnegative是运行失败,返回非0的用例。
src/ql/src/test/results 下面是测试用例对应的输出结果。如src/ql/src/test/queries/case_sensitivity.q对应的输出结果是src/ql/src/test/results/case_sensitivity.q.out
测试会运行case_sensitivity.q产生的输出放入build/ql/test/logs/clientpositive/case_sensitivity.q.out文件中,然后通过diff比对build/ql/test/logs/clientpositive/case_sensitivity.q.out src/ql/src/test/results/case_sensitivity.q.out两个文件,如果相同则测试通过,如果不同则测试失败。


CREATE TABLE sales (name STRING, id INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t’;

CREATE TABLE things (id INT, name STRING) partitioned by (ds string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t’;


load data local inpath 'examples/files/sales.txt' INTO TABLE sales;
load data local inpath 'examples/files/things.txt' INTO TABLE things partition(ds='2011-10-23’);
load data local inpath 'examples/files/things2.txt' INTO TABLE things partition(ds='2011-10-24’);

SELECT name,id FROM sales ORDER BY name ASC, id ASC;
SELECT id,name FROM things ORDER BY id ASC, name ASC;
SELECT name,id FROM sales LEFT SEMI JOIN things ON (sales.id = things.id) ORDER BY name ASC, id ASC;


测试前会事先create一些table,并load一些数据进去。
比如:case_sensitivity.q 的代码是
tianzhao@tianzhao-VirtualBox:~/hive/hive-1.1.2/src/ql/src/test/queries/clientpositive$ cat case_sensitivity.q
CREATE TABLE DEST1(Key INT, VALUE STRING) STORED AS TEXTFILE;

EXPLAIN
FROM SRC_THRIFT
INSERT OVERWRITE TABLE dest1 SELECT src_Thrift.LINT[1], src_thrift.lintstring[0].MYSTRING where src_thrift.liNT[0] > 0;

FROM SRC_THRIFT
INSERT OVERWRITE TABLE dest1 SELECT src_Thrift.LINT[1], src_thrift.lintstring[0].MYSTRING where src_thrift.liNT[0] > 0;

SELECT DEST1.* FROM Dest1;
/// 上面的HSQL中并没有创建SRC_THRIFT 表,但是能够用,那是因为在执行该文件的语句前已经创建好了这个表。
代码在org.apache.hadoop.hive.ql.QTestUtil.java中,它的方法init、createSources等。
从ant test -Dtestcase=TestCliDriver -Dqfile=case_sensitivity.q   -Dtest.silent=false 在终端的输出也可以看出:
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-08',hr='11')
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcpart
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Loading data to table default.srcpart partition (ds=2008-04-08, hr=11)
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-08',hr='11')
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcpart
    [junit] POSTHOOK: Output: default@srcpart@ds=2008-04-08/hr=11
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-08',hr='12')
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcpart
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Loading data to table default.srcpart partition (ds=2008-04-08, hr=12)
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-08',hr='12')
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcpart
    [junit] POSTHOOK: Output: default@srcpart@ds=2008-04-08/hr=12
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-09',hr='11')
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcpart
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Loading data to table default.srcpart partition (ds=2008-04-09, hr=11)
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-09',hr='11')
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcpart
    [junit] POSTHOOK: Output: default@srcpart@ds=2008-04-09/hr=11
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-09',hr='12')
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcpart
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Loading data to table default.srcpart partition (ds=2008-04-09, hr=12)
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' OVERWRITE INTO TABLE srcpart PARTITION (ds='2008-04-09',hr='12')
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcpart
    [junit] POSTHOOK: Output: default@srcpart@ds=2008-04-09/hr=12
    [junit] OK
    [junit] PREHOOK: query: CREATE TABLE srcbucket(key int, value string) CLUSTERED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
    [junit] PREHOOK: type: CREATETABLE
    [junit] POSTHOOK: query: CREATE TABLE srcbucket(key int, value string) CLUSTERED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
    [junit] POSTHOOK: type: CREATETABLE
    [junit] POSTHOOK: Output: default@srcbucket
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt' INTO TABLE srcbucket
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt
    [junit] Loading data to table default.srcbucket
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket0.txt' INTO TABLE srcbucket
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt' INTO TABLE srcbucket
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt
    [junit] Loading data to table default.srcbucket
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket1.txt' INTO TABLE srcbucket
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket
    [junit] OK
    [junit] PREHOOK: query: CREATE TABLE srcbucket2(key int, value string) CLUSTERED BY (key) INTO 4 BUCKETS STORED AS TEXTFILE
    [junit] PREHOOK: type: CREATETABLE
    [junit] POSTHOOK: query: CREATE TABLE srcbucket2(key int, value string) CLUSTERED BY (key) INTO 4 BUCKETS STORED AS TEXTFILE
    [junit] POSTHOOK: type: CREATETABLE
    [junit] POSTHOOK: Output: default@srcbucket2
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt' INTO TABLE srcbucket2
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket2
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt
    [junit] Loading data to table default.srcbucket2
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket20.txt' INTO TABLE srcbucket2
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket2
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt' INTO TABLE srcbucket2
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket2
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt
    [junit] Loading data to table default.srcbucket2
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket21.txt' INTO TABLE srcbucket2
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket2
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt' INTO TABLE srcbucket2
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket2
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt
    [junit] Loading data to table default.srcbucket2
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket22.txt' INTO TABLE srcbucket2
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket2
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt' INTO TABLE srcbucket2
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@srcbucket2
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt
    [junit] Loading data to table default.srcbucket2
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/srcbucket23.txt' INTO TABLE srcbucket2
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@srcbucket2
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' INTO TABLE src
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@src
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.txt
    [junit] Loading data to table default.src
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.txt' INTO TABLE src
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@src
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv3.txt' INTO TABLE src1
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@src1
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv3.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv3.txt
    [junit] Loading data to table default.src1
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv3.txt' INTO TABLE src1
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@src1
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.seq' INTO TABLE src_sequencefile
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@src_sequencefile
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/kv1.seq
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/kv1.seq
    [junit] Loading data to table default.src_sequencefile
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/kv1.seq' INTO TABLE src_sequencefile
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@src_sequencefile
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/complex.seq' INTO TABLE src_thrift
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@src_thrift
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/complex.seq
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/complex.seq
    [junit] Loading data to table default.src_thrift
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/complex.seq' INTO TABLE src_thrift
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@src_thrift
    [junit] OK
    [junit] PREHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/json.txt' INTO TABLE src_json
    [junit] PREHOOK: type: LOAD
    [junit] PREHOOK: Output: default@src_json
    [junit] Copying data from file:/home/tianzhao/apache/hive-trunk/data/files/json.txt
    [junit] Copying file: file:/home/tianzhao/apache/hive-trunk/data/files/json.txt
    [junit] Loading data to table default.src_json
    [junit] POSTHOOK: query: LOAD DATA LOCAL INPATH '/home/tianzhao/apache/hive-trunk/data/files/json.txt' INTO TABLE src_json
    [junit] POSTHOOK: type: LOAD
    [junit] POSTHOOK: Output: default@src_json
    [junit] OK
上面显示了创建的表和load的数据。

测试case_sensitivity.q的显示是:
    [junit] Running org.apache.hadoop.hive.cli.TestCliDriver
    [junit] Begin query: case_sensitivity.q
    [junit] Deleted file:/home/tianzhao/apache/hive-trunk/build/ql/test/data/warehouse/dest1
    [junit] diff -a -I file: -I pfile: -I hdfs: -I /tmp/ -I invalidscheme: -I lastUpdateTime -I lastAccessTime -I [Oo]wner -I CreateTime -I LastAccessTime -I Location -I transient_lastDdlTime -I last_modified_ -I java.lang.RuntimeException -I at org -I at sun -I at java -I at junit -I Caused by: -I LOCK_QUERYID: -I grantTime -I [.][.][.] [0-9]* more -I USING 'java -cp /home/tianzhao/apache/hive-trunk/build/ql/test/logs/clientpositive/case_sensitivity.q.out /home/tianzhao/apache/hive-trunk/ql/src/test/results/clientpositive/case_sensitivity.q.out
    [junit] Done query: case_sensitivity.q
    [junit] Cleaning up TestCliDriver
生成的结果在build/ql/test/logs/clientpositive/case_sensitivity.q.out 中,通过diff比对它与ql/src/test/results/clientpositive/case_sensitivity.q.out是否相同来判断该UT是否通过。



我们来看如何手工创建src_thrift表,load数据,并执行case_sensitivity.q中的HSQL。
org.apache.hadoop.hive.ql.QTestUtil.createSources()中创建src_thrift表的语句是:
    Table srcThrift = new Table(db.getCurrentDatabase(), "src_thrift");
    srcThrift.setInputFormatClass(SequenceFileInputFormat.class.getName());
    srcThrift.setOutputFormatClass(SequenceFileOutputFormat.class.getName());
    srcThrift.setSerializationLib(ThriftDeserializer.class.getName());
    srcThrift.setSerdeParam(Constants.SERIALIZATION_CLASS, Complex.class
        .getName());
    srcThrift.setSerdeParam(Constants.SERIALIZATION_FORMAT,
        TBinaryProtocol.class.getName());
    db.createTable(srcThrift);
存储格式是SequenceFile,serde是ThriftDeserializer,serde的两个属性是SERIALIZATION_CLASS和SERIALIZATION_FORMAT。创建表的时候需要知道表的字段,这里没有写。但是在(Constants.SERIALIZATION_CLASS, Complex.class.getName())中已经定义了。
那么看org.apache.hadoop.hive.serde2.thrift.test.Complex的定义:
  public int aint;
  public static final int AINT = 1;
  public String aString;
  public static final int ASTRING = 2;
  public List<Integer> lint;
  public static final int LINT = 3;
  public List<String> lString;
  public static final int LSTRING = 4;
  public List<IntString> lintString;
  public static final int LINTSTRING = 5;
  public Map<String,String> mStringString;
  public static final int MSTRINGSTRING = 6;
IntString的定义:
  public int myint;
  public static final int MYINT = 1;
  public String myString;
  public static final int MYSTRING = 2;
  public int underscore_int;
  public static final int UNDERSCORE_INT = 3;
可以还原src_thrift的字段:
建表语句是:
hive> create table src_thrift(aint int, aString string,lint array<int>, lString array<string>, lintString array<struct<myint:int, mString:string, underscore_int:int>>, mStringString map<string, string>)
    > row format serde 'org.apache.hadoop.hive.serde2.thrift.ThriftDeserializer' with serdeproperties("serialization.class"="org.apache.hadoop.hive.serde2.thrift.test.Complex", "serialization.format"="org.apache.thrift.protocol.TBinaryProtocol")
    > stored as sequencefile;
OK
Time taken: 0.462 seconds
load数据是:
hive> load data local inpath 'src/data/files/complex.seq' into table src_thrift;
Copying data from file:/home/tianzhao/hive/hive-1.1.2/src/data/files/complex.seq
Loading data to table src_thrift
OK
Time taken: 0.286 seconds
查看数据是:
hive> select * from src_thrift limit 2;
OK
1712634731 record_0 [0,0,0] ["0","0","0"] [{"myint":0,"mystring":"0","underscore_int":0}] {"key_0":"value_0"}
465985200 record_1 [1,2,3] ["10","100","1000"] [{"myint":1,"mystring":"1","underscore_int":1}] {"key_1":"value_1"}
Time taken: 0.34 seconds
查看表的信息是:
hive> desc src_thrift;
OK
aint int from deserializer
astring string from deserializer
lint array<int> from deserializer
lstring array<string> from deserializer
lintstring array<org.apache.hadoop.hive.serde2.thrift.test.IntString> from deserializer
mstringstring map<string,string> from deserializer
Time taken: 0.085 seconds
运行case_sensitivity.q里面的一个语句:(截取了一部分)
hive> from src_thrift SELECT src_Thrift.LINT[1], src_thrift.lintstring[0].MYSTRING where src_thrift.liNT[0] > 0;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201105281127_0001, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201105281127_0001
Kill Command = /home/tianzhao/hive/hadoop-0.20.2/bin/../bin/hadoop job  -Dmapred.job.tracker=localhost:54311 -kill job_201105281127_0001
2011-05-28 12:04:52,869 Stage-1 map = 0%,  reduce = 0%
2011-05-28 12:04:55,921 Stage-1 map = 100%,  reduce = 0%
2011-05-28 12:04:58,962 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201105281127_0001
OK
2 1
4 8
6 27
8 64
10 125
12 216
14 343
16 512
18 729
Time taken: 12.147 seconds


src表
org.apache.hadoop.hive.ql.QTestUtil.createSources() :
    LinkedList<String> cols = new LinkedList<String>();
    cols.add("key");
    cols.add("value");

    for (String tname : new String[] {"src", "src1"}) {
      db.createTable(tname, cols, null, TextInputFormat.class,
          IgnoreKeyTextOutputFormat.class);
    }
src、src1两表都是两个columns:
create table src(key string, value string);
load数据:
    // load the input data into the src table
    fpath = new Path(testFiles, "kv1.txt");
    newfpath = new Path(tmppath, "kv1.txt");
    fs.copyFromLocalFile(false, true, fpath, newfpath);
    // db.loadTable(newfpath, "src", false);
    runLoadCmd("LOAD DATA INPATH '" + newfpath.toString() + "' INTO TABLE src");

load data local inpath 'src/data/files/kv1.txt' into table src;




有了这些东西,我们可以手工测试使用src/ql/src/test/queries下面的各个UT里面的语句。






目录下面的文件 hive-0.7.0\src\ql\src\test\queries\clientpositive

(1) add_part_exist.q   创建有partition的表,增加partition,显示partition

CREATE TABLE add_part_test (key STRING, value STRING) PARTITIONED BY (ds STRING);
SHOW PARTITIONS add_part_test;

ALTER TABLE add_part_test ADD PARTITION (ds='2010-01-01');
SHOW PARTITIONS add_part_test;

ALTER TABLE add_part_test ADD IF NOT EXISTS PARTITION (ds='2010-01-01');
SHOW PARTITIONS add_part_test;

ALTER TABLE add_part_test ADD IF NOT EXISTS PARTITION (ds='2010-01-02');
SHOW PARTITIONS add_part_test;

ALTER TABLE add_part_test ADD IF NOT EXISTS PARTITION (ds='2010-01-01') PARTITION (ds='2010-01-02') PARTITION (ds='2010-01-03');
SHOW PARTITIONS add_part_test;

DROP TABLE add_part_test;
SHOW TABLES;

desc extended add_part_test  partition(ds='2010-01-03');

需要注意的是:
SHOW TABLES  , SHOW PARTITIONS 时,PARTITIONS和TABLES 都需要加上S,复数形式.

关于'2010-01-02'的一些困惑。
hive> alter table add_part_test add if not exists partition(ds=2010-01-02);
FAILED: Parse Error: line 1:61 mismatched input '-' expecting ) in add partition statement

hive> alter table add_part_test add if not exists partition(ds='2010-01-02');
OK
Time taken: 0.294 seconds
hive> alter table add_part_test add if not exists partition(ds=2011102);    
OK
Time taken: 0.178 seconds
hive> show partitions add_part_test;
OK
ds=2010-01-01
ds=2010-01-02
ds=2011102
Time taken: 0.057 seconds


(2)alter1.q  修改一个表的属性,表的serde以及serde属性。修改column信息。

(3)create_default_prop.q  创建表
create_1.q  创建表的操作
create_*

DESCRIBE table3;
DESCRIBE EXTENDED table3;
DESC table3;
DESC EXTENDED table3;
是一样的,大小写不区分。
desc 0.7版本支持,0.5不支持

hive.map.aggr   hive.groupby.skewindata (倾斜)
https://issues.apache.org/jira/browse/HIVE-223
分享到:
评论

相关推荐

    soapui知识手册

    - **测试案例(Test Case)**: 单个测试案例是一组有序的测试步骤,用于实现特定的测试目标。 - **测试步骤(Test Step)**: 每个测试步骤对应一个具体的测试行为,比如发送一个请求并接收响应。 - **断言(Assertion)**:...

    hue平台oozie工作流操作sqoop,把mysql.pdf

    在Hive界面中,首先检查test数据库下是否成功创建了case_report_base10000表。随后,编写SQL语句查询表数据,确认数据导入是否成功。 综上所述,本文通过具体的操作步骤和详细参数配置,指导了在Hue平台使用Oozie...

    hadoop_the_definitive_guide_3nd_edition

    Hadoop definitive 第三版, 目录如下 1. Meet Hadoop . . . 1 Data! 1 Data Storage and Analysis 3 Comparison with Other Systems 4 RDBMS 4 Grid Computing 6 Volunteer Computing 8 ...16. Case Studies . ....

    《数据结构》(02331)基础概念

    内容概要:本文档《数据结构》(02331)第一章主要介绍数据结构的基础概念,涵盖数据与数据元素的定义及其特性,详细阐述了数据结构的三大要素:逻辑结构、存储结构和数据运算。逻辑结构分为线性结构(如线性表、栈、队列)、树形结构(涉及根节点、父节点、子节点等术语)和其他结构。存储结构对比了顺序存储和链式存储的特点,包括访问方式、插入删除操作的时间复杂度以及空间分配方式,并介绍了索引存储和散列存储的概念。最后讲解了抽象数据类型(ADT)的定义及其组成部分,并探讨了算法分析中的时间复杂度计算方法。 适合人群:计算机相关专业学生或初学者,对数据结构有一定兴趣并希望系统学习其基础知识的人群。 使用场景及目标:①理解数据结构的基本概念,掌握逻辑结构和存储结构的区别与联系;②熟悉不同存储方式的特点及应用场景;③学会分析简单算法的时间复杂度,为后续深入学习打下坚实基础。 阅读建议:本章节内容较为理论化,建议结合实际案例进行理解,尤其是对于逻辑结构和存储结构的理解要深入到具体的应用场景中,同时可以尝试编写一些简单的程序来加深对抽象数据类型的认识。

    【工业自动化】施耐德M580 PLC系统架构详解:存储结构、硬件配置与冗余设计

    内容概要:本文详细介绍了施耐德M580系列PLC的存储结构、系统硬件架构、上电写入程序及CPU冗余特性。在存储结构方面,涵盖拓扑寻址、Device DDT远程寻址以及寄存器寻址三种方式,详细解释了不同类型的寻址方法及其应用场景。系统硬件架构部分,阐述了最小系统的构建要素,包括CPU、机架和模块的选择与配置,并介绍了常见的系统拓扑结构,如简单的机架间拓扑和远程子站以太网菊花链等。上电写入程序环节,说明了通过USB和以太网两种接口进行程序下载的具体步骤,特别是针对初次下载时IP地址的设置方法。最后,CPU冗余部分重点描述了热备功能的实现机制,包括IP通讯地址配置和热备拓扑结构。 适合人群:从事工业自动化领域工作的技术人员,特别是对PLC编程及系统集成有一定了解的工程师。 使用场景及目标:①帮助工程师理解施耐德M580系列PLC的寻址机制,以便更好地进行模块配置和编程;②指导工程师完成最小系统的搭建,优化系统拓扑结构的设计;③提供详细的上电写入程序指南,确保程序下载顺利进行;④解释CPU冗余的实现方式,提高系统的稳定性和可靠性。 其他说明:文中还涉及一些特殊模块的功能介绍,如定时器事件和Modbus串口通讯模块,这些内容有助于用户深入了解M580系列PLC的高级应用。此外,附录部分提供了远程子站和热备冗余系统的实物图片,便于用户直观理解相关概念。

    某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip

    某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip

    2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH

    2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH

    agentransack文本搜索软件

    可以搜索文本内的内容,指定目录,指定文件格式,匹配大小写等

    Windows 平台 Android Studio 下载与安装指南.zip

    Windows 平台 Android Studio 下载与安装指南.zip

    Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows-zip.zip.002)

    Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows.zip)适用于Windows系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/90557033 part2: https://download.csdn.net/download/weixin_43800734/90557035

    4-3-台区智能融合终端功能模块技术规范(试行).pdf

    国网台区终端最新规范

    4-13-台区智能融合终端软件检测规范(试行).pdf

    国网台区终端最新规范

    【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据)

    1.【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据) 2.数据集:NASA数据集,已经处理好,B0005电池训练、B0006测试; 3.环境准备:Matlab2023b,可读性强; 4.模型描述:Transformer-GRU在各种各样的问题上表现非常出色,现在被广泛使用。 5.领域描述:近年来,随着锂离子电池的能量密度、功率密度逐渐提升,其安全性能与剩余使用寿命预测变得愈发重要。本代码实现了Transformer-GRU在该领域的应用。 6.作者介绍:机器学习之心,博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析,文章底部有博主联系方式。从事Matlab、Python算法仿真工作8年,更多仿真源码、数据集定制私信。

    基于android的家庭收纳App的设计与实现.zip

    Android项目原生java语言课程设计,包含LW+ppt

    大学生入门前端-五子棋vue项目

    大学生入门前端-五子棋vue项目

    二手车分析完整项目,包含源代码和数据集,包含:XGBoost 模型,训练模型代码,数据集包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格等

    这是一个完整的端到端解决方案,用于分析和预测阿联酋(UAE)地区的二手车价格。数据集包含 10,000 条二手车信息,覆盖了迪拜、阿布扎比和沙迦等城市,并提供了精确的地理位置数据。此外,项目还包括一个基于 Dash 构建的 Web 应用程序代码和一个训练好的 XGBoost 模型,帮助用户探索区域市场趋势、预测车价以及可视化地理空间洞察。 数据集内容 项目文件以压缩 ZIP 归档形式提供,包含以下内容: 数据文件: data/uae_used_cars_10k.csv:包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格、变速箱类型、燃料类型、颜色、描述以及销售地点(如迪拜、阿布扎比、沙迦)。 模型文件: models/stacking_model.pkl:训练好的 XGBoost 模型,用于预测二手车价格。 models/scaler.pkl:用于数据预处理的缩放器。 models.py:模型相关功能的实现。 train_model.py:训练模型的脚本。 Web 应用程序文件: app.py:Dash 应用程序的主文件。 callback

    《基于YOLOv8的船舶航行违规并线预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    《基于YOLOv8的工业布匹瑕疵分类系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    CodeCount.exe

    此为代码审查工具 可查 文件数,字节数,总行数,代码行数,注释行数,空白行数,注释率等

    商业数据分析与Python实现:企业破产概率及抽样技术解析(复现论文或解答问题,含详细可运行代码及解释)

    内容概要:本文档涵盖了一项关于企业破产概率的详细分析任务,分为书面回答和Python代码实现两大部分。第一部分涉及对业务类型和破产状态的边际分布、条件分布及相对风险的计算,并绘制了相应的二维条形图。第二部分利用Python进行了数据处理和可视化,包括计算比值比、识别抽样技术类型、分析鱼类数据集以及探讨辛普森悖论。此外,还提供了针对鱼类和树木数据的统计分析方法。 适合人群:适用于有一定数学和编程基础的学习者,尤其是对统计学、数据分析感兴趣的大学生或研究人员。 使用场景及目标:①帮助学生掌握统计学概念如边际分布、条件分布、相对风险和比值比的实际应用;②教授如何用Python进行数据清洗、分析和可视化;③提高对不同类型抽样技术和潜在偏见的理解。 其他说明:文档不仅包含了理论知识讲解,还有具体的代码实例供读者参考实践。同时提醒读者在完成作业时需要注意提交格式的要求。

Global site tag (gtag.js) - Google Analytics