Hive自定义函数（simple）

Hive可以自定义函数，自定义函数分为两种，一种是simple，simple是通过java反射机制，所以效率上有一定的折扣，对性能有一定的损耗。另一种是generic，generic使用分布式JAVA API，类似于Hadoop的一套API

 

一、分类

 

UDF（普通）：操作作用于单个数据行，产生一个数据行作为输出。（数学函数，字符串函数）

 

UDAF（用户定义聚集函数）：接收多个输入数据行，并产生一个输出数据行。（count，max）

 

UDTF（用户定义表生成函数）：操作作用于单个数据行，并产生多个数据行----一个表作为输出

 

二、添加函数到hive库

 

add jar /home/hadoop/workspace/hiveext/target/hiveext-0.0.1-SNAPSHOT.jar;

 

create temporary function strip as 'com.simple.udf.Strip';

 

create temporary function explodefield as 'com.simple.udtf.ExplodeField';

 

三、UDF

 

1.继承org.apache.hadoop.hive.ql.exec.UDF

 

2.至少实现一个evaluate方法，evaluate方法参数不限

 

四、UDAF

1.继承org.apache.hadoop.hive.ql.exec.UDAF

 

2.包含一个或多个嵌套的实现了org.apache.hadoop.hive.ql.exec的静态类

 

3.实现以下方法

 

init()：负责初始化计算函数并重设它的内部状态。

 

iterate()：每次对一个新值进行聚集计算都会调用该方法。其中iterate()接收的参数跟hive的参数对应。

 

terminatePartial()：部分聚集结果，返回一个封装了聚集计算当前状态的对象。

 

merge()：合并一部分聚集值和另一部分聚集值，接收一个对象作为输入，对象类型与terminatePartial()返回类型一致

 

terminate ()：返回最终的聚集结果

 

五、UDTF

1.继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。
2.实现initialize, process, close三个方法
3.UDTF首先会调用initialize方法，此方法返回UDTF的返回行的信息（返回个数，类型）。
初始化完成后，会调用process方法，对传入的参数进行处理，可以通过forword()方法把结果返回。
最后close()方法调用，对需要清理的方法进行清理。