`
xly1981
  • 浏览: 146803 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hive实现json数组拆解

阅读更多
PAYCHANNELDETAIL表中间字段acquire_type是json格式如下
[{"payAmount":"375000","payChannelCode":"BOC"},{"payAmount":"376000","payChannelCode":"ABC"}]

下面是数据拆解操作
 select pay_order_id,tag1,bill_date
from (
select pay_order_id,substr(acquire_type,2,length(acquire_type)-2) tags,bill_date from dd.PAYCHANNELDETAIL
) ta  lateral view explode(split(tags, '},')) r1 as tag1
;

查询结果如下:
1603150000007617360	{"payAmount":"375000","payChannelCode":"BOC"}	2016-03-15
1603150000007617360	{"payAmount":"376000","payChannelCode":"ABC"}	2016-03-15


json属性拆解
SELECT 
pay_order_id,
get_json_object(subjson,'$.payAmount') as payAmount,
get_json_object(subjson,'$.payChannelCode') as payChannelCode,
bill_date
FROM
dd.PAYCHANNELDETAIL_SUBJSON
分享到:
评论

相关推荐

    hive-udf-处理JSON数组

    hive_udf_处理JSON数组

    Hive-JSON-Array-UDF:一个UDF从嵌套的JSON数组中检索元素,并作为HiveQL数组返回

    Hive嵌套JSON Arrray UDF 此UDF接收“ JSON字符串”和JSON数组的路径,并收集此路径指定的所有元素(也处理嵌套的JSON数组)。 例子: 假设此JSON在某些表的行中: {" request " : {" user " : " Mario " ," ...

    hive-json-schema最新源代码

    hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema最新源代码hive-json-schema...

    hive-json-serde-0.2.jar

    “hive-json-serde-0.2.jar”是一个针对Hive的JSON SerDe实现,它的主要功能是将JSON文档转换为Hive可以理解的表格结构,同时也能将Hive的表格数据转换回JSON格式。这个库使得Hive能够直接操作JSON格式的数据,无需...

    hive解析json格式数据所需jar包

    hive解析json时所需jar包。具体使用: add jar ../../../target/json-serde-1.3-jar-with-dependencies.jar; CREATE TABLE json_nested_test ( country string, languages array, religions map,array<int>>) ...

    hive2.1.1中orc格式读取报数组越界错误解决方法

    这两个jar包分别是Hive执行引擎和ORC文件格式处理的实现,更新它们可能是为了修复特定版本中的已知问题或提供更好的兼容性。 CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的Hadoop发行...

    Hive-JSON-Serde-1.3.8.zip

    《Hive与JSON-Serde:大数据处理中的关键组件》 在大数据处理领域,Apache Hive扮演着重要的角色,它是一个基于Hadoop的数据仓库工具,能够让我们通过SQL查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)...

    hive,json格式传送,加载数据

    1. **Hive 对 JSON 数据的支持**:Hive 默认并不直接支持 JSON 数据格式,但通过第三方库如 Hive-JSON-Serde 和 Hive-JSON-UDF,可以实现对 JSON 数据的处理。这些库允许我们将 JSON 字符串解析为 Hive 表中的列。 ...

    Hive-JSON-Serde-develop

    在处理JSON格式的数据时,Hive通过SerDe(Serializer/Deserializer)机制来实现数据的序列化和反序列化。`Hive-JSON-Serde-develop`项目就是针对JSON数据格式专门设计的一种SerDe,允许用户在Hive中直接处理JSON数据...

    hive支持json格式的数据.docx

    Hive 支持 JSON 格式的数据 Hive 是一个基于 Hadoop 的数据仓库工具,支持存储和处理各种格式的数据。JSON 是一种广泛使用的数据交换格式,越来越多的应用程序使用 JSON 格式来存储和交换数据。Hive 支持完全和不...

    一些有用的自定义配置单元udf函数、特殊数组、json、数学、字符串函数。___下载.zip

    Hive提供了一些内建的JSON函数,如get_json_object和json_tuple,用于解析和提取JSON字符串中的数据。然而,如果需要更复杂的JSON操作,如解析嵌套的JSON对象或处理JSON数组,自定义的JSON处理函数就显得尤为重要。`...

    hive-json-serde

    hive的数组解析json中的数组,Map解析json中的对象:{“ pluginList”:[{“ name”:“ 1”,“ browser”:“ 1”,“ on”:“ 2”},{“ name“:” 1“,” browser“:” 3“,” on“:” 2“}]}创建表sql:...

    Hive-JSON-Serde:读取-为Apache Hive编写JSON SerDe

    支持JSON数组和映射 支持嵌套数据结构 支持Cloudera发行版,包括Apache Hadoop(CDH) 支持多种版本的Hadoop 安装 下载最新的二进制文件( json-serde-XYZ-jar-with-dependencies.jar和json-udf-XYZ-jar-with-...

    06.hive中的json解析函数--json-tuple.mp4

    06.hive中的json解析函数--json-tuple.mp4

    hive支持json格式的数据.pdf

    "Hive 支持 JSON 格式数据处理详解" Hive 是一个基于 Hadoop 的数据仓库工具,支持多种数据格式,包括 JSON 格式数据。在这个资源中,我们将深入讲解 Hive 中如何支持完全和不完全 JSON 格式数据的处理。 完全 ...

    mysql2hive.json

    基于Flinkx,将mysql数据同步到Hive

    String、Array与Date、String的转化

    本工具类用于String、Array和String、Date之间的转化

    用户推荐Slope One算法与mapreduce&hive实现

    标题中的“用户推荐Slope One算法与mapreduce&hive实现”揭示了我们即将探讨的核心内容:一种名为Slope One的推荐系统算法,以及如何利用大数据处理工具MapReduce和Hive来实现这一算法。Slope One是一种简单而有效的...

Global site tag (gtag.js) - Google Analytics