Hive的UDF的自定义

当hive为我们提供的UDF无法满足要求的时候，我们可以开发自己的UDF，我们自己的UDF类需要继承org.apache.hadoop.hive.ql.exec.UDF类
并且在类中实现evaluate方法，当我们在hive中使用自定义的UDF的时候，hive会调用类中的evaluate方法来实现特定的功能。
如下是一个返回字符串的长度的用户自定义UDF：
package com.zx.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;

public class UdfTestLength extends UDF{

    public Integer evaluate(String s)
    {
        if(s==null)
        {
            return null;
        }else{
            return s.length();
        }
    }
}

将上面的类打成jar的形式，我使用eclipse直接导出为test-udf.jar包，然后放在/home/zhangxin/hive目录中。
然后，进入到hive的命令行界面：
>hive
//首先将jar包添加到hive中
add jar /home/zhangxin/hive/test-udf.jar
//给UDF定义别名
create temporary function testlength as 'com.zx.hive.udf.UdfTestLength';
//在查询语句中使用UDF
select testlength(a.name) from test_join1 a;

自定义函数可以重载：如下的UDF既可以对两个整数进行相加，也可以对两个double进行相加。
package com.zx.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class UdfTestAdd  extends UDF{

    public Integer evaluate(Integer a,Integer b)
    {
        return a+b;
    }
   
    public Double evaluate(Double a,Double b)
    {
        return a+b;
    }
}


add jar /home/zhangxin/hive/test-udf.jar
//给UDF定义别名
create temporary function testadd as 'com.zx.hive.udf.UdfTestAdd';
//在查询语句中使用UDF
select testadd(1,2) from test_join1 a;

3


select testadd(1.2,2.2) from test_join1 a;

3.4000000000000004

在使用 UDF 的时候，会自动进行类型转换，这个 java 或者 C 中的类型转换有些类似，比如:

  SELECT example_add(1, 2.1) FROM src;

的结果是 3.1，这是因为 UDF 将类型为 Int 的参数 “1″ 转换为 double。

类型的隐式转换是通过 UDFResolver 来进行控制的，并且可以根据不同的 UDF 进行不同的控制。

UDF 还可以支持变长的参数，例如 UDFExampleAdd.java：

  public class UDFExampleAdd extends UDF {
    public Integer evaluate(Integer... a) {
      int total = 0;
      for (int i=0; i<a.length; i++)
        if (a[i] != null) total += a[i];

      return total;
  } // the same for Double public Double evaluate(Double... a) }

使用例子为：

  SELECT example_add(1, 2) FROM src;
  SELECT example_add(1, 2, 3) FROM src;
  SELECT example_add(1, 2, 3, 4.1) FROM src;

综上，UDF 具有以下特性：

    * 用 java 写 UDF 很容易。
    * Hadoop 的 Writables/Text 具有较高性能。
    * UDF 可以被重载。
    * Hive 支持隐式类型转换。
    * UDF 支持变长的参数。
    * genericUDF 提供了较好的性能（避免了反射）。