`
weitao1026
  • 浏览: 1055938 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Pig的EvalFunc UDF函数

pig的EvalFunc UDF函数 
阅读更多

Pig的EvalFunc UDF函数，结果一执行，发现返回值，总是bag类型，我就纳闷了，我明明指定了返回是String类型，怎么会变成Bag类型呢？经查找，发现拷贝的问题，由于先前写的UDF函数，返回值是多个，而现在的这个是一个，所以导致，我在pig脚本里面，进行强转string类型出错，发现问题后，设置返回类型为DataType.CHARARRAY问题得以解决。
案例（一），输入值为多个参数，返回也为多个参数 

Java代码
  1. package com.easy.pig;  
  2.   
  3. import com.easy.similar.model.ResultModel;  
  4. import com.easy.similar.tools.TextBuildID;  
  5. import org.apache.pig.EvalFunc;  
  6. import org.apache.pig.data.*;  
  7. import org.apache.pig.impl.logicalLayer.schema.Schema;  
  8.   
  9. import java.io.IOException;  
  10.   
  11. /** 
  12.  * Created by qindongliang on 2015/9/29. 
  13.  * 根据一篇内容返回md5和关键词words 
  14.  */  
  15. public class FingerUDF  extends EvalFunc<DataBag>  {  
  16.   
  17.   
  18.     /**tuple实例**/  
  19.     TupleFactory mTupleFactory = TupleFactory.getInstance();  
  20.     /**Bag实例*/  
  21.     BagFactory mBagFactory = BagFactory.getInstance();  
  22.   
  23.     /**md5构建**/  
  24.      TextBuildID textBuildID = new TextBuildID();  
  25.   
  26.   
  27.   
  28.   
  29.   
  30.     @Override  
  31.     public DataBag exec(Tuple tuple) throws IOException {  
  32.         try {  
  33.             DataBag output = mBagFactory.newDefaultBag();  
  34.             Object o = tuple.get(0);  
  35.             //返回多少句子  
  36.             int num_sentence = Integer.parseInt(tuple.get(1).toString());  
  37.             //返回几个关键词  
  38.             int num_words = Integer.parseInt(tuple.get(2).toString());  
  39.             //使用指纹算法 1  还是分词算法 2  
  40.             int type=Integer.parseInt(tuple.get(3).toString());  
  41.             //参与扩展计算的指纹,null的直接返回空  
  42.             String ext=tuple.get(4)==null?"":tuple.get(4).toString();  
  43.             //设置句子数量  
  44.             textBuildID.top_N_Sentence=num_sentence;  
  45.             //设置返回指纹数量  
  46.             textBuildID.top_N_Words=num_words;  
  47.             //设置去重算法类型  
  48.             textBuildID.type=type;  
  49.             ResultModel ro=textBuildID.buildID(o.toString(),ext);  
  50.             output.add(mTupleFactory.newTuple(ro.getMd5()));//获取md5值  
  51.             output.add(mTupleFactory.newTuple(ro.getWords()));//获取指纹关键词  
  52.             return output;  
  53.         } catch (Exception ee) {  
  54.             // error handling goes here  
  55.             ee.printStackTrace();  
  56.         }  
  57.   
  58.   
  59.         return null;  
  60.     }  
  61.   
  62.   
  63.     /**描述scheaml形式*/  
  64.     public Schema outputSchema(Schema input) {  
  65.         try{  
  66.             Schema bagSchema = new Schema();  
  67.             bagSchema.add(new Schema.FieldSchema("token", DataType.CHARARRAY));  
  68.   
  69.             return new Schema(new Schema.FieldSchema(getSchemaName(this.getClass().getName().toLowerCase(), input),  
  70.                     bagSchema, DataType.BAG));  
  71.         }catch (Exception e){  
  72.             return null;  
  73.         }  
  74.     }  
  75.   
  76.   
  77. }  
package com.easy.pig;

import com.easy.similar.model.ResultModel;
import com.easy.similar.tools.TextBuildID;
import org.apache.pig.EvalFunc;
import org.apache.pig.data.*;
import org.apache.pig.impl.logicalLayer.schema.Schema;

import java.io.IOException;

/**
 * Created by qindongliang on 2015/9/29.
 * 根据一篇内容返回md5和关键词words
 */
public class FingerUDF  extends EvalFunc<DataBag>  {


    /**tuple实例**/
    TupleFactory mTupleFactory = TupleFactory.getInstance();
    /**Bag实例*/
    BagFactory mBagFactory = BagFactory.getInstance();

    /**md5构建**/
     TextBuildID textBuildID = new TextBuildID();





    @Override
    public DataBag exec(Tuple tuple) throws IOException {
        try {
            DataBag output = mBagFactory.newDefaultBag();
            Object o = tuple.get(0);
            //返回多少句子
            int num_sentence = Integer.parseInt(tuple.get(1).toString());
            //返回几个关键词
            int num_words = Integer.parseInt(tuple.get(2).toString());
            //使用指纹算法 1  还是分词算法 2
            int type=Integer.parseInt(tuple.get(3).toString());
            //参与扩展计算的指纹,null的直接返回空
            String ext=tuple.get(4)==null?"":tuple.get(4).toString();
            //设置句子数量
            textBuildID.top_N_Sentence=num_sentence;
            //设置返回指纹数量
            textBuildID.top_N_Words=num_words;
            //设置去重算法类型
            textBuildID.type=type;
            ResultModel ro=textBuildID.buildID(o.toString(),ext);
            output.add(mTupleFactory.newTuple(ro.getMd5()));//获取md5值
            output.add(mTupleFactory.newTuple(ro.getWords()));//获取指纹关键词
            return output;
        } catch (Exception ee) {
            // error handling goes here
            ee.printStackTrace();
        }


        return null;
    }


    /**描述scheaml形式*/
    public Schema outputSchema(Schema input) {
        try{
            Schema bagSchema = new Schema();
            bagSchema.add(new Schema.FieldSchema("token", DataType.CHARARRAY));

            return new Schema(new Schema.FieldSchema(getSchemaName(this.getClass().getName().toLowerCase(), input),
                    bagSchema, DataType.BAG));
        }catch (Exception e){
            return null;
        }
    }


}



案例（二），输入值为String，返回也为String

Java代码 复制代码 收藏代码
  1. package com.easy.pig;  
  2.   
  3. import org.apache.pig.EvalFunc;  
  4. import org.apache.pig.data.DataType;  
  5. import org.apache.pig.data.Tuple;  
  6. import org.apache.pig.impl.logicalLayer.schema.Schema;  
  7.   
  8. import java.io.IOException;  
  9.   
  10. /** 
  11.  *  处理url 
  12.  */  
  13. public class UrlCvUDF extends EvalFunc<String>  {  
  14.   
  15.   
  16.     @Override  
  17.     public String exec(Tuple tuple) throws IOException {  
  18.         try {  
  19.   
  20.             Object o = tuple.get(0);  
  21.             if(o!=null){  
  22.                 //判断是否为指定url开头的来源  
  23.                 if((o+"").startsWith("http://www.court.gov.cn")){  
  24.                     return "1";  
  25.                 }else{  
  26.                     return "2";  
  27.                 }  
  28.             }  
  29.         } catch (Exception ee) {  
  30.             ee.printStackTrace();  
  31.         }  
  32.         //url 为null 则返回0  
  33.         return "0";  
  34.     }  
  35.   
  36. //  
  37.     /**描述scheaml形式*/  
  38.     public Schema outputSchema(Schema input) {  
  39.         try{  
  40.             Schema bagSchema = new Schema();  
  41.             bagSchema.add(new Schema.FieldSchema("token", DataType.CHARARRAY));  
  42.             //注意此处返回值要与泛型里面的对应  
  43.             return new Schema(new Schema.FieldSchema(getSchemaName(this.getClass().getName().toLowerCase(), input),  
  44.                     bagSchema, DataType.CHARARRAY));  
  45.         }catch (Exception e){  
  46.             e.printStackTrace();  
  47.             return null;  
  48.         }  
  49.     }  
  50.   
  51.   
  52. }  
package com.easy.pig;

import org.apache.pig.EvalFunc;
import org.apache.pig.data.DataType;
import org.apache.pig.data.Tuple;
import org.apache.pig.impl.logicalLayer.schema.Schema;

import java.io.IOException;

/**
 *  处理url
 */
public class UrlCvUDF extends EvalFunc<String>  {


    @Override
    public String exec(Tuple tuple) throws IOException {
        try {

            Object o = tuple.get(0);
            if(o!=null){
                //判断是否为指定url开头的来源
                if((o+"").startsWith("http://www.court.gov.cn")){
                    return "1";
                }else{
                    return "2";
                }
            }
        } catch (Exception ee) {
            ee.printStackTrace();
        }
        //url 为null 则返回0
        return "0";
    }

//
    /**描述scheaml形式*/
    public Schema outputSchema(Schema input) {
        try{
            Schema bagSchema = new Schema();
            bagSchema.add(new Schema.FieldSchema("token", DataType.CHARARRAY));
            //注意此处返回值要与泛型里面的对应
            return new Schema(new Schema.FieldSchema(getSchemaName(this.getClass().getName().toLowerCase(), input),
                    bagSchema, DataType.CHARARRAY));
        }catch (Exception e){
            e.printStackTrace();
            return null;
        }
    }


}




案例一的pig脚本：

Java代码 复制代码 收藏代码
  1. --SET debug 'on'  
  2.   
  3. --REGISTER ./aa.jar  
  4. REGISTER ./udf-pig-similarty-hbase-1.0-SNAPSHOT-jar-with-dependencies.jar  
  5. REGISTER ./pig-udf-extend-1.0.1-SNAPSHOT-jar-with-dependencies.jar  
  6.   
  7. --mkdir /user/webmaster/crawldb/finger/  
  8. --rmf /user/webmaster/crawldb/finger/  
  9.   
  10. mkdir /user/webmaster/search/monitor/finger-data;  
  11. rmf  /user/webmaster/search/monitor/finger-data;  
  12.   
  13.   
  14.   
  15. set job.name 'pig-hbase-build-index'  
  16.   
  17.   
  18. a = load 'hbase://ETLDB' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('content:conn content:casenum,meta:isdelete','-loadKey true  ');  
  19.   
  20. --a = foreach a generate FLATTEN(com.easy.pig.FingerUDF((chararray)$1));  
  21. -- 4个参数  0：文章内容   1：前n最长的句子数，2：前n关键词，3：判重算法， 1=>指纹 2=>分词  
  22. a = foreach a generate $0 as rowkey:chararray , BagToString(com.easy.pig.FingerUDF((chararray)$1,5,8,1,$2),'@') as info:chararray,$2 as casenum:chararray , $3 as isdel:chararray ;  
  23. --a = foreach a generate $2 as num:chararray;  
  24.   
  25. --a = limit a 50;  
  26.   
  27. --dump a;  
  28. --describe a;  
  29. a = foreach a generate $0 as rowkey:chararray , STRSPLIT(info,'@',2).$0 as finger_md5:chararray ,STRSPLIT(info,'@',2).$1 as finger_content:chararray ,casenum,isdel ;  
  30.   
  31. --describe a;  
  32.   
  33. store a into  '/user/webmaster/search/monitor/finger-data'  using com.pig.support.lucene.LuceneStore('row:true:false,finger_md5:true:false,finger_content:true:false,casenum:true:false,isdel:true:false','default');  
--SET debug 'on'

--REGISTER ./aa.jar
REGISTER ./udf-pig-similarty-hbase-1.0-SNAPSHOT-jar-with-dependencies.jar
REGISTER ./pig-udf-extend-1.0.1-SNAPSHOT-jar-with-dependencies.jar

--mkdir /user/webmaster/crawldb/finger/
--rmf /user/webmaster/crawldb/finger/

mkdir /user/webmaster/search/monitor/finger-data;
rmf  /user/webmaster/search/monitor/finger-data;



set job.name 'pig-hbase-build-index'


a = load 'hbase://ETLDB' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('content:conn content:casenum,meta:isdelete','-loadKey true  ');

--a = foreach a generate FLATTEN(com.easy.pig.FingerUDF((chararray)$1));
-- 4个参数  0：文章内容   1：前n最长的句子数，2：前n关键词，3：判重算法， 1=>指纹 2=>分词
a = foreach a generate $0 as rowkey:chararray , BagToString(com.easy.pig.FingerUDF((chararray)$1,5,8,1,$2),'@') as info:chararray,$2 as casenum:chararray , $3 as isdel:chararray ;
--a = foreach a generate $2 as num:chararray;

--a = limit a 50;

--dump a;
--describe a;
a = foreach a generate $0 as rowkey:chararray , STRSPLIT(info,'@',2).$0 as finger_md5:chararray ,STRSPLIT(info,'@',2).$1 as finger_content:chararray ,casenum,isdel ;

--describe a;

store a into  '/user/webmaster/search/monitor/finger-data'  using com.pig.support.lucene.LuceneStore('row:true:false,finger_md5:true:false,finger_content:true:false,casenum:true:false,isdel:true:false','default');




案例二的pig脚本：


Java代码 复制代码 收藏代码
  1. --SET debug 'on'  
  2.   
  3. --REGISTER ./aa.jar  
  4. REGISTER ./udf-pig-similarty-hbase-1.0-SNAPSHOT-jar-with-dependencies.jar  
  5. REGISTER ./pig-udf-extend-1.0.1-SNAPSHOT-jar-with-dependencies.jar  
  6.   
  7. --mkdir /user/webmaster/crawldb/finger/  
  8. --rmf /user/webmaster/crawldb/finger/  
  9.   
  10. mkdir /user/webmaster/search/monitor/finger-data;  
  11. rmf  /user/webmaster/search/monitor/finger-data;  
  12.   
  13.   
  14.   
  15. set job.name 'pig-hbase-build-index'  
  16.   
  17.   
  18. a = load 'hbase://ETLDB' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('content:conn content:casenum meta:isdelete content:url','-loadKey true  ');  
  19.   
  20. --a = foreach a generate FLATTEN(com.easy.pig.FingerUDF((chararray)$1));  
  21. -- 4个参数  0：文章内容   1：前n最长的句子数，2：前n关键词，3：判重算法， 1=>指纹 2=>分词  
  22. a = foreach a generate $0 as rowkey:chararray , BagToString(com.easy.pig.FingerUDF((chararray)$1,5,8,1,''),'@') as info:chararray,$2 as casenum:chararray , $3 as isdel:chararray,   com.easy.pig.UrlCvUDF((chararray)$4)  as source:chararray   ;  
  23. --a = foreach a generate $2 as num:chararray;  
  24.   
  25.   
  26. a = limit a 11;  
  27.   
  28. dump a;  
  29. describe a;  
  30. --describe a;  
  31. --a = foreach a generate $0 as rowkey:chararray , STRSPLIT(info,'@',2).$0 as finger_md5:chararray ,STRSPLIT(info,'@',2).$1 as finger_content:chararray ,casenum,isdel ;  
  32.   
  33. --describe a;  
  34.   
  35. --store a into  '/user/webmaster/search/monitor/finger-data'  using com.pig.support.lucene.LuceneStore('row:true:false,finger_md5:true:false,finger_content:true:false,casenum:true:false,isdel:true:false','default'); 
分享到：
| Tez是Hortonworks公司开源
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    pig udf 函数(urldecode row_number tomap)

    用户定义的函数（User Defined Functions, UDFs）是 Pig 功能的重要组成部分，允许用户扩展其内在功能以满足特定需求。在这个主题中，我们将深入探讨 `urldecode`、`row_number` 和 `tomap` 这三个 UDF 在 Pig 中的...

    大数据 java hive udf函数的示例代码（手机号码脱敏）

    "大数据 Java Hive UDF 函数示例代码（手机号码脱敏）" 大数据 Java Hive UDF 函数示例代码（手机号码脱敏）是指使用 Java 语言开发的用户定义函数（User Defined Function，UDF），该函数可以在 Hive 中使用，实现...

    * hive脱敏UDF函数 *对一些敏感信息进行脱敏处理，替换位置可自定义，脱敏符号可随机也可自定义

    * 脱敏UDF函数 * 功能：对一些敏感信息进行脱敏处理，替换方式可选择自定义替换，如'#','*'等,，如不指定脱敏符号，使用个随机字符替换 * 脱敏位置可自定义，不指定位置，会对数据进行全脱敏 * 例如身份证信息： ...

    hive自定义UDF编写函数.docx

    Hive 自定义 UDF 编写函数 本文主要讲解了 Hive 中自定义 UDF 函数的编写方法，包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。 一、创建 UDF 类 为了实现...

    impala自定义日期处理的udf函数

    由于impala处理日期的函数如date_sub(),date_trunc(),last_day()等这些日期处理函数还需要进行日期格式化为yyyy-MM-dd使用,sql代码段过长,导致频繁嵌套过于复杂.所以自定义udf函数解决这些问题.以下为实现过程.

    phoenix-udf自定义函数测试jar包

    phoenix-udf自定义函数，上传到hdfs的lib目录，测试udf自定义函数功能，有需要可以下载；select QUARTER(birth) from person

    旅游集市数仓建设可能用到的UDF函数

    在旅游集市数仓建设中，可能会用到各种UDF（User Defined Function，用户自定义函数）来处理和分析数据。这些UDF函数可以根据具体的需求和业务场景来设计和实现。以提高数据处理的效率和灵活性。以下是一些在旅游...

    一些有用的自定义配置单元udf函数、特殊数组、json、数学、字符串函数。___下载.zip

    "一些有用的自定义配置单元udf函数、特殊数组、json、数学、字符串函数。___下载.zip" 提供的资源显然是关于Hive的自定义用户定义函数（UDF）和一些实用的函数库，这对于优化Hive查询和处理复杂的数据操作至关重要。...

    各种情况手机号清洗udf函数（hive impala）

    本文将详细讲解如何通过自定义函数（UDF）来处理各种格式的手机号码，确保数据的质量和一致性。我们将涵盖正则表达式在手机号码清洗中的应用，以及如何编写和使用Java UDF在Hive和Impala中实现这个过程。 1. **手机...

    Maxcompute UDF函手动打包以及注册.doc

    在大数据处理中，Maxcompute UDF 函数是非常重要的一部分，它能够帮助开发者扩展Maxcompute的计算能力。然而，在使用Maxcompute UDF 函数时，开发者需要将其打包并注册到Maxcompute平台上。本文档将详细介绍...

    AES解密UDF函数.doc

    ### AES解密UDF函数详解 #### 一、概述 在大数据处理领域，尤其是在Hadoop生态体系中的数据处理环节，用户定义的函数（User Defined Function, UDF）扮演着非常重要的角色。它允许开发人员根据特定需求编写自定义...

    hive UDF需要jar包

    在Hive中，UDF（User Defined Functions）是用户自定义函数，允许开发人员扩展Hive的内置功能，以满足特定的数据处理需求。Hive UDF的实现通常涉及到编写Java代码，并将其打包成JAR（Java Archive）文件，然后在Hive...

    java RSA加解密的udf函数

    RSAUdf.java可能包含了自定义的用户定义函数（UDF），这些函数用于执行RSA加解密操作。而KeyRSA.java可能包含了生成和管理RSA密钥对的代码。 在RSAUdf.java中，常见的方法可能有`encrypt()`和`decrypt()`。`encrypt...

    获取规范薪酬UDF函数.doc

    ### 获取规范薪酬UDF函数详解 #### UDF概述与应用场景 在大数据处理中，用户定义的函数（User Defined Function，简称UDF）是Hive SQL的一种扩展机制，它允许开发人员自定义函数来处理特定的数据处理需求。对于...

    Hive的Udf函数进行数据脱敏

    在Hive中，UDF分为三种类型：UDF（单行函数）、UDAF（累积聚合函数）和UDTF（多行转换函数）。在这里，我们只需要UDF，因为它适用于处理单行数据。 1. **编写Java类**： 要创建一个UDF，你需要编写一个Java类，该...

    hive自定义udf函数实战

    udf函数，用户自定义函数，可以直接在sql语句中计算的函数 优点： 允许实现模块化的程序设计、方便修改代码、增加函数 UDF的执行速度很快，通过缓存计划在语句重复执行时降低代码的编译开销，比存储方法的执行效率...

    获取最大分区UDF函数.doc

    ### 获取最大分区UDF函数详解 #### UDF概述与应用场景 在大数据处理中，特别是使用Hive进行数据仓库构建时，经常会遇到需要根据特定条件筛选数据的情况，比如找到某个表的最大分区来确保查询数据是最新的或者最...

    HIVE自定义UDF函数

    而自定义用户定义函数（UDF）是 Hive 中的一个重要功能，允许用户根据自己的需求编写自定义函数，以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数： 步骤一：编写 Java 程序 首先，您需要编写一个 ...

    实时计算udf函数倒序

    实时计算udf函数倒序

    获取规范货币类型UDF函数.doc

    ### 获取规范货币类型UDF函数 #### 概述 在大数据处理领域，特别是金融数据分析场景中，经常需要对数据进行标准化处理。对于货币类型的规范化处理是常见需求之一。本篇文章将详细介绍如何创建一个Hive UDF（User ...

Magicbox
Global site tag (gtag.js) - Google Analytics