`
dacoolbaby
  • 浏览: 1265793 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

[转]Hive实现Oracle wm_concat函数

    博客分类:
  • Hive
阅读更多
工作中遇到将Hive数据组装同步到MongoDB的需求。
于是乎,传统的DB设计结构就遇到了难题,因此需要有个向WM_CONCAT的函数来将列转行。
还好有现成的解决方案,否则又要自己码一个UDAF处理函数。
  1. hive> desc t;   
  2. OK   
  3. id      string   
  4. str     string   
  5. Time taken: 0.249 seconds   
  6. hive> select * from t;   
  7. OK   
  8. 1       A   
  9. 1       B   
  10. 2       C   
  11. 2       D   
  12. Time taken: 0.209 seconds  
hive> desc t;
OK
id      string
str     string
Time taken: 0.249 seconds
hive> select * from t;
OK
1       A
1       B
2       C
2       D
Time taken: 0.209 seconds

在Hive0.9中,可用:

SELECT id,
concat_ws('|', collect_set(str))
FROM t 
GROUP BY id;

得到结果:

 

1 A|B

2 C|D

 

目前在Hive0.11.0里面测试,能够顺利使用。

refer to http://superlxw1234.iteye.com/blog/1886846

分享到:
评论

相关推荐

    hive高级分析函数与优化.rar_hive_hive 函数优化_hive 分析 大数据_hive高级优化_oldwlc

    Hive提供了丰富的内置函数,包括聚合函数(如SUM、AVG、COUNT等)、转换函数(如TO_DATE、TRIM等)和窗口函数(如LEAD、LAG、RANK等)。高级分析函数如统计学习函数(如KMEANS、NAIVE_BAYES等)和时间序列分析函数...

    Hive与Oracle常用函数对比

    通过学习将Oracle和Hive的常用函数整理出来做了个对比,提供他们各自支持的常用函数。

    编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar

    spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....

    hive和oracle常用函数对照表.xlsx

    hive和oracle常用函数对照,包含常用的函数分类 字符函数 数值函数 日期函数 聚合函数 转换函数 其他 增加的hive函数对比,只需要2个积分喔

    hive和oracle函数对照表.xlsx

    包含hive和oracle的常用函数对比关系表,可以用于查询hive函数转换成oracle函数,或者oracle函数转换hive函数之间的相互转换。

    test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr

    另一个文件“hive_lib”可能包含了与Hive相关的其他辅助函数或者依赖的库。 使用这样的库,开发者可以进行以下操作: 1. **创建Hive连接**:通过ThriftHive.php,开发者可以初始化一个Thrift客户端,连接到运行...

    hive1_2_1jars.zip

    与Hive的集成也得到了增强,比如更好的Hive UDF(用户定义函数)支持和更高的查询并发性。 **总结** “hive1_2_1jars.zip”压缩文件是为了使Spark 3能够正确配置连接到Hive 1.2.1版本的元存储。配置`spark.sql....

    1_hive函数大全.pdf

    Hive提供了测量字符串长度的length函数、字符串反转的reverse函数、字符串连接concat函数、带分隔符连接concat_ws函数、字符串截取substr和substring函数、转换大小写的upper/ucase和lower/lcase函数、去除或保留...

    spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar

    spark-hive-thriftserver_2.11-2.1.spark-hive-thrift

    hive、oracle常用函数对照表

    hive、oracle常用函数对照表

    hive日期函数next_day小计.txt

    hive中使用的日期函数next_day小计,主要用于记录该函数的使用方法以及一些示例,方便其他人查找使用

    spark-hive-thriftserver_2.11-2.4.5.jar

    spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818

    Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连

    Hive JDBC(Java Database Connectivity)是Hive提供的一种接口,使得其他编程语言,如Java,能够通过JDBC驱动程序与Hive进行交互,实现数据查询、分析和操作。本教程将深入讲解如何使用Hive JDBC在Java项目中建立与...

    Hive_64bit_linux_centos

    这个压缩包“Hive_64bit_linux_centos”是专为64位Linux CentOS系统编译的版本,因为官方提供的可能是32位版本,所以对于运行在64位环境下的用户来说,这是一个重要的资源。 1. **Hive的64位需求**:64位版本的Hive...

    hive、oracle、phoenix常用函数对照表

    Oracle PL-SQL 对应 hadoop hive 、 phoenix中常用的对应函数,包括日期函数、逻辑函数等。

    Hive-工具篇_hive_

    - **内置函数**:包括字符串函数(如CONCAT、SUBSTRING)、数学函数(如ABS、SQRT)、日期函数(如DATE_SUB、ADD_DATE)等,用于数据处理和转换。 - **UDF(User Defined Function)**:用户可以自定义函数扩展...

    hive、oracle、phoenix常用函数对照表总结

    大数据hive sql 与 oracle sql 和 phoenix的 sql 函数 对照,不同数据仓库都有相同功能但是函数名不同、参数也不同使用方法也不同,顾总结在一起方便使用

    kettle 从oracle数据库导数据到hive 表

    ### Kettle 从 Oracle 数据库导数据到 Hive 表 #### 背景与目的 在企业级数据处理场景中,随着大数据技术的发展,越来越多的企业选择将原有的关系型数据库(如 Oracle)中的数据迁移到基于 Hadoop 生态系统的数据...

    Hive配置(Oracle数据库为元数据)

    export HIVE_HOME=/home/fulong/Hive/apache-hive-0.13.1-bin export PATH=$HIVE_HOME/bin:$PATH ``` 保存文件后,执行 `source ~/.bashrc` 命令使更改生效。 **3. 配置 Hive 的环境文件** 接下来,我们需要对 ...

    hive2.1.1_mysql_sqoop.zip

    然后,你可以使用Sqoop命令行工具,结合Hive的HQL,实现从MySQL数据库到HDFS的数据迁移,或者反过来,将处理过的数据写回到MySQL。这整个过程简化了大数据处理的流程,使得数据的导入导出变得更加高效和便捷。 总结...

Global site tag (gtag.js) - Google Analytics