`
superlxw1234
  • 浏览: 550671 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44346
社区版块
存档分类
最新评论

Hive中实现group concat功能(不用udf)

    博客分类:
  • hive
阅读更多
hive> desc t;
OK
id      string
str     string
Time taken: 0.249 seconds
hive> select * from t;
OK
1       A
1       B
2       C
2       D
Time taken: 0.209 seconds

 

在Hive0.9中,可用:

 

SELECT id,
concat_ws('|', collect_set(str))
FROM t 
GROUP BY id;

得到结果:

 

1 A|B

2 C|D

 

但在hive0.7中不容易实现,concat_ws函数不支持Array。

 

 

 

1
4
分享到:
评论
1 楼 107x 2014-11-11  
不错,谢谢!

相关推荐

    hive的udf功能

    大数据的hive资源的详细代码设计以及分享,望博友相互交流

    Hive的Udf函数进行数据脱敏

    总结来说,通过自定义UDF,我们可以方便地在Hive中实现数据脱敏功能,以保护敏感信息。这个过程涉及到Java编程、Hive API的使用以及SQL查询的编写。在实际应用中,可能需要根据业务需求调整UDF的行为,例如改变保留...

    hive UDF需要jar包

    在Hive中,UDF(User Defined Functions)是用户自定义函数,允许开发人员扩展Hive的内置功能,以满足特定的数据处理需求。Hive UDF的实现通常涉及到编写Java代码,并将其打包成JAR(Java Archive)文件,然后在Hive...

    hive自定义UDF编写函数.docx

    本文主要讲解了 Hive 中自定义 UDF 函数的编写方法,包括创建 UDF 类、实现自定义函数逻辑、编译和打包 UDF jar 包、上传至 Hive 服务器并注册自定义函数。 一、创建 UDF 类 为了实现自定义 UDF 函数,需要创建一...

    hive-udf(两地址间距离计算+省市区位置解析(Java代码))

    在这个“hive-udf”项目中,我们主要探讨的是如何利用Java编写UDF来实现两个地址间的距离计算以及省市区位置的解析。 首先,地址转换成经纬度是计算距离的基础。地理坐标系统通常使用经度和纬度来定位地球上任意...

    hive时间按月份加减UDF

    为了实现这样的功能,我们可以自定义UDF(User Defined Function),扩展Hive的功能。标题中的“hive时间按月份加减UDF”指的就是这样一种用户自定义的函数,它可以方便地帮助我们处理与月份增减相关的任务。 文章...

    大数据 java hive udf函数的示例代码(手机号码脱敏)

    大数据 Java Hive UDF 函数示例代码(手机号码脱敏)是指使用 Java 语言开发的用户定义函数(User Defined Function,UDF),该函数可以在 Hive 中使用,实现手机号码脱敏的功能。在本文中,我们将通过实例代码,...

    部分普通sql查询在hive中的实现方式

    - **背景**:Hive不支持直接使用`HAVING`关键字,但可以通过嵌套子查询并在外层查询中使用`WHERE`条件来实现类似的功能。 - **示例**:如果想实现如下标准SQL的`HAVING`查询: ```sql SELECT gender, COUNT(*) as...

    HIve UDF 说明书

    Hive UDF(User-Defined Functions,用户定义函数)是Hive中强大的功能,允许用户在Hive查询中使用自定义的函数来进行更复杂的操作。Hive是一个建立在Hadoop基础上的高级数据仓库工具,它允许用户使用类似SQL的语言...

    base64加密解密的hive udf函数

    总结,通过自定义Hive UDF,我们可以方便地在Hive中实现Base64的加密和解密功能,从而满足大数据处理中的安全性和灵活性需求。这不仅可以用于数据传输的加密,还可以在数据分析过程中保护敏感信息,提高数据的安全性...

    各种情况手机号清洗udf函数(hive impala)

    我们将涵盖正则表达式在手机号码清洗中的应用,以及如何编写和使用Java UDF在Hive和Impala中实现这个过程。 1. **手机号码格式问题**:手机号码可能因历史记录、输入错误或不同的国家/地区标准而呈现多种格式。例如...

    Hive UDF开发

    Hive UDF是指用户可以根据自己的业务需求,自定义Java类来实现特定的数据处理逻辑,并将其封装成函数的形式供Hive SQL使用。根据功能不同,Hive UDF主要分为三类:基本UDF、通用UDF (GenericUDF) 和表生成UDF (UDTF)...

    hive按月份加减udf范例

    在Hive中,UDF(User Defined Function)是用户自定义函数,允许我们扩展Hive的功能以满足特定的业务需求。本示例主要讲解如何在Hive中实现按月份的加减操作,这在时间序列分析或周期性报告中非常常见。 标题"hive...

    dataiku hive udf

    "dataiku-hive-udf-master"中的源码可以帮助开发者了解如何实现这些功能,以及如何在Hive中有效地利用自定义函数进行数据分析。此外,通过阅读和调试这些源码,还可以提升对Hive内部工作原理的理解,这对于解决实际...

    HIVE自定义UDF函数

    而自定义用户定义函数(UDF)是 Hive 中的一个重要功能,允许用户根据自己的需求编写自定义函数,以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数: 步骤一:编写 Java 程序 首先,您需要编写一个 ...

    hive的UDF的编写.docx

    在hive中,UDF是用户自定义的函数,可以根据业务需求编写自定义的函数来实现特定的数据处理逻辑。UDF可以将复杂的数据处理逻辑封装在一个函数中,以便于在hive查询中使用。 使用Java编写hive的UDF 使用Java编写...

    hive-exec-udf

    而Hive的执行引擎和用户自定义函数(UDF)是其核心功能之一,它们共同构建了Hive的强大计算能力。本文将详细探讨Hive执行机制以及UDF的使用和开发。 一、Hive执行引擎 Hive执行引擎负责解析用户的HQL语句,将其...

    hive udaf 实现按位取与或

    在“hive udaf 实现按位取与或”的场景中,我们主要探讨如何使用UDAF来实现数据的按位逻辑运算,如按位与(AND)和按位或(OR)。 一、Hive UDAF基本概念 UDAF是一种特殊的用户自定义函数,它负责处理一组输入值并...

    Hive 多行合并和分组limit输出 UDF工具包

    用于多行合并和分组limit输出的udf工具包,已编译配置好,直接调用即可

    hive-udf:NexR Hive UDF

    NexR Hive UDF是Hive用户定义功能的集合。 执照 快速开始 $ git clone https://github.com/nexr/hive-udf.git $ cd hive-udf $ mvn clean package or $ ant -Dhive.install.dir=../hive/build/dist clean package ...

Global site tag (gtag.js) - Google Analytics