hive牛逼（1）hive一览 备忘

1. 基本数据类型

tinyint , smallint, int, bigint, float, double, boolean: true/false, string

2. 基础运算符与函数

A IS NULL         空
A IS NOT NULL     非空   
A LIKE B     模糊匹配
A RLIKE B     正则表达式匹配
A REGEXP B  正则表达式匹配

3. 类型转换
cast(expr as <type>)
例如：
cast('1' as BIGINT)  将字符串'1'转化成bigint型

4. 日期函数

返回值类型     名称                                        描述
string     from_unixtime(int unixtime)                    将时间戳（unix epoch秒数）转换为日期时间字符串，例如from_unixtime(0)="1970-01-01 00:00:00"
bigint     unix_timestamp()                                获得当前时间戳
bigint     unix_timestamp(string date)                    获得date表示的时间戳
bigint     to_date(string timestamp)                      返回日期字符串，例如to_date("1970-01-01 00:00:00") = "1970-01-01"
string     year(string date)                              返回年，例如year("1970-01-01 00:00:00") = 1970，year("1970-01-01") = 1970
int     month(string date)    
int     day(string date) dayofmonth(date)    
int     hour(string date)    
int     minute(string date)    
int     second(string date)    
int     weekofyear(string date)    
int     datediff(string enddate, string startdate)        返回enddate和startdate的天数的差，例如datediff('2009-03-01', '2009-02-27') = 2
int     date_add(string startdate, int days)              加days天数到startdate: date_add('2008-12-31', 1) = '2009-01-01'
int     date_sub(string startdate, int days)              减days天数到startdate: date_sub('2008-12-31', 1) = '2008-12-30'


5. 条件函数

返回值类型     名称                                                      描述
-     if(boolean testCondition, T valueTrue, T valueFalseOrNull)        当testCondition为真时返回valueTrue，testCondition为假或NULL时返回valueFalseOrNull
-     COALESCE(T v1, T v2, ...)                                        返回列表中的第一个非空元素，如果列表元素都为空则返回NULL
-     CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END                a = b，返回c；a = d，返回e；否则返回f
-     CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END                  a 为真，返回b；c为真，返回d；否则e
例如：
(
case
when category = '1512' then reserve_price > cast(1000 as double)
when category = '1101' then reserve_price > cast(2500 as double)
else reserve_price > cast(10 as double)
end
)

6. 常用字符串函数
返回值类型      名称                                                             描述
int     length(string A)                                                          返回字符串长度
string     reverse(string A)                                                      反转字符串
string     concat(string A, string B...)                                          合并字符串，例如concat('foo', 'bar')='foobar'。注意这一函数可以接受任意个数的参数
string     substr(string A, int start) substring(string A, int start)              返回子串，例如substr('foobar', 4)='bar'，详见 [4]
string     substr(string A, int start, int len) substring(string A, int start, int len)     返回限定长度的子串，例如substr('foobar', 4, 1)='b'，详见[5]
string     upper(string A) ucase(string A)                                        转换为大写
string     lower(string A) lcase(string A)                                        转换为小写
string     trim(string A)    
string     ltrim(string A)    
string     rtrim(string A)
string     regexp_extract(string subject, string pattern, int intex)            返回使用正则表达式提取的子字串。
                                                                           例如，regexp_extract('foothebar', 'foo(.*?)(bar)', 2)='bar'。注意使用特殊字符的规则：
                                                                           使用'\s'代表的是字符's'；空白字符需要使用'\\s'，以此类推。
string     space(int n)                                                          返回一个包含n个空格的字符串
string     repeat(string str, int n)                                            重复str字符串n遍
string     ascii(string str)                                                    返回str中第一个字符的ascii码
string     lpad(string str, int len, string pad)                                左端补齐str到长度为len。补齐的字符串由pad指定。
string     rpad(string str, int len, string pad)                                右端补齐str到长度为len。补齐的字符串由pad指定。
array     split(string str, string pat)                                        返回使用pat作为正则表达式分割str字符串的列表。例如，split('foobar', 'o')[2] = 'bar'。                                                                         


7. 创建表

CREATE TABLE IF NOT EXISTS table_name
(

--field def

)


PARTITIONED BY (pt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '...';
注意：如果不是外表部，drop table的时候会将HDFS上文件删除。


8. 创建外部表

CREATE EXTERNAL TABLE dm_all_cpv_assoc (
--field def
)
PARTITIONED BY (pt string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\1'  字段分隔符
LINES TERMINATED BY '\2'  行分隔符
STORED AS TEXTFILE       
LOCATION '...';

注意：在删除外部表的时候，不会删除HDFS上的关联文件。

9. 添加分区

ALTER TABLE table_name ADD PARTITION (dt='2008-08-08', country='us')
location '/path/to/us/part080808' PARTITION (dt='2008-08-09', country='us')
location '/path/to/us/part080809';

10. 删除分区

ALTER TABLE table_name DROP PARTITION (dt='2008-08-08', country='us');

11. 导入数据

a. insert overwrite table table_name partition (pt = '20110323000000')
select ... from ...

b. LOAD DATA LOCAL INPATH 'test.dat' OVERWRITE INTO table yahoo_music partition (pt=xxx);

12. 查询数据

SELECT, JOIN, LIMIT

13. 添加UDF

add jar /home/hive/jar/my_udf.jar;
create temporary function sys_date as 'com.taobao.hive.udf.UDFDateSysdate';

14. 设置reducer数量

限制最大reducer数：set hive.exec.reducers.max=15;

设置固定的reducer数：set mapred.reduce.tasks=15;