`
dacoolbaby
  • 浏览: 1267539 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

[转]Hive的parse_url函数

    博客分类:
  • Hive
阅读更多

refer to http://blog.csdn.net/xiaolang85/article/details/8823025 

 

parse_url(url, partToExtract[, key]) - extracts a part from a URL

解析URL字符串,partToExtract的选项包含[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]

 

举例:

* parse_url('http://facebook.com/path/p1.php?query=1', 'HOST')返回'facebook.com' 

* parse_url('http://facebook.com/path/p1.php?query=1', 'PATH')返回'/path/p1.php' 

* parse_url('http://facebook.com/path/p1.php?query=1', 'QUERY')返回'query=1'

可以指定key来返回特定参数,例如

* parse_url('http://facebook.com/path/p1.php?query=1', 'QUERY','query')返回'1'

 

* parse_url('http://facebook.com/path/p1.php?query=1#Ref', 'REF')返回'Ref' 

* parse_url('http://facebook.com/path/p1.php?query=1#Ref', 'PROTOCOL')返回'http'

 

比直接使用正则表达式要方便一些~~

分享到:
评论

相关推荐

    1_hive函数大全.pdf

    replace和解析regexp_extract函数、URL解析parse_url函数、JSON解析get_json_object函数、生成重复字符串的repeat函数、首字符ascii值的ascii函数、字符串左右填充的lpad和rpad函数、分割字符串split函数和集合查找...

    hive函数大全(中文版)

    14. URL解析函数:parse_url 26 15. json解析函数:get_json_object 27 16. 空格字符串函数:space 27 17. 重复字符串函数:repeat 27 18. 首字符ascii函数:ascii 28 19. 左补足函数:lpad 28 20. 右补足函数:rpad...

    Hive常用函数

    - **URL 解析**:`parse_url` 函数可提取 URL 的特定部分,如 `parse_url('http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1', 'HOST')` 获取主机名。 - **字符串连接**:`concat` 和 `concat_ws` 函数用于连接...

    hive-笔记--hive常用用法

    hive-笔记--hive常用用法: 内部表和外部表,导入数据,导出数据,将数据从hive的表中导出到本地磁盘目录中,HIVE的存储文件格式,修改表的分区,多重插入...json函数,分组topn,网页URL数据解析函数:parse_url_tuple

    hive函数大全 函数参考

    13. **URL解析函数** (`parse_url`): 解析URL。 14. **json解析函数** (`get_json_object`): 解析JSON字符串。 15. **空格字符串函数** (`space`): 创建由空格组成的字符串。 16. **重复字符串函数** (`repeat`): ...

    hive函数大全

    - URL解析函数“parse_url”,json解析函数“get_json_object”。 - 空格字符串函数“space”,重复字符串函数“repeat”。 - 首字符ascii函数“ascii”,左补足函数“lpad”,右补足函数“rpad”。 - 分割字符串...

    hive 函数大全

    13. **URL解析函数(parse_url)** - 示例: `SELECT parse_url('http://www.example.com/path/to/resource?query=value', 'HOST') AS result;` 14. **json解析函数(get_json_object)** - 示例: `SELECT get_json_...

    hive常用函数参数手册

    ### Hive常用函数参数手册 #### 一、简介 在大数据处理领域,Hive作为一个广泛使用的数据仓库工具,提供了丰富的内置函数来支持数据的处理与分析。本文档旨在介绍Hive中的常用函数及其用法,帮助用户更好地理解和应用...

    Hive函数大全1.0

    Hive 函数大全 Hive 函数大全是 Hive 中内置的函数大全,提供了关系运算、数学运算、逻辑运算、复合类型构造函数、复合类型操作符、数值计算函数、集合操作函数、类型转换函数、日期函数...* URL 解析函数(parse_url)

    hive函数大全(举例和目录)

    ### Hive函数大全详解 Hive是一种数据仓库工具,它提供了SQL-like语言(HiveQL)来处理存储在Hadoop文件系统中的大型数据集。本文档将详细介绍Hive中各种常用的函数及其用法,并通过示例帮助理解每个函数的功能。 ...

    hive常用函数参考手册.docx

    ### HIVE常用函数参考手册知识点概述 #### 一、函数分类 Hive中的函数可以根据其功能和作用范围分为几大类: 1. **简单函数**:这类函数通常针对单条记录进行操作,如数学运算、逻辑运算等。 2. **聚合函数**:...

    Hive函数大全

    ### Hive函数大全详解 #### 一、关系运算 在Hive中,关系运算是非常基础且重要的部分,用于实现数据的筛选与过滤。 ##### 1. 等值比较(`=`) 等值比较用于判断两个值是否相等。例如: ```sql SELECT * FROM ...

    hadoophive函数.pdf

    - parse_url():解析URL。 - get_json_object():从JSON字符串中提取对象。 - space():生成包含指定数量空格的字符串。 - repeat():重复字符串。 - ascii():返回字符串第一个字符的ASCII值。 - lpad() 和 ...

    HIVE语法.docx

    13. **URL解析函数** `parse_url` 14. **json解析函数** `get_json_object` 15. **空格字符串函数** `space` 16. **重复字符串函数** `repeat` 17. **首字符ascii函数** `ascii` 以上总结了Hive中的一些常用知识点...

    大数据amabri平台问题

    2. **插入新字段:** 使用窗口函数`row_number()`来生成自增序列字段,然后将其插入到目标表`table_dest`中。 以上就是关于大数据Ambari平台在实际生产环境中可能遇到的一些典型问题及其解决方法。通过以上步骤,...

    豆瓣电影数据分析可视化.docx

    1. **定义函数**:`parse_url(url)`函数负责向指定URL发送GET请求,并返回服务器响应的HTML内容。其中通过设置请求头模拟浏览器访问,提高请求的成功率。 2. **解析响应内容**:`get_content_list(html_str)`函数...

Global site tag (gtag.js) - Google Analytics