`
superlxw1234
  • 浏览: 550700 次
  • 性别: Icon_minigender_1
  • 来自: 西安
博客专栏
Bd1c0a0c-379a-31a8-a3b1-e6401e2f1523
Hive入门
浏览量:44349
社区版块
存档分类
最新评论

hive中使用sql window函数 LAG/LEAD/FIRST/LAST

    博客分类:
  • hive
阅读更多

https://github.com/hbutani/SQLWindowing

 

 

经过测试,我使用的hadoop版本: hadoop-0.20.2-cdh3u3

hive版本:0.7.0,报错:

 

./hive --service windowingCli
Hive history file=/tmp/p_sdo_data_etl/hive_job_log_p_sdo_data_etl_201207191020_1015292447.txt
Exception in thread "main" groovy.lang.MissingMethodException: No signature of method: org.apache.hadoop.hive.cli.CliSessionState.getHost() is applicable for argument types: () values: []
Possible solutions: getConf(), getAt(java.lang.String), getClass(), get(), getCmd(), setConf(org.apache.hadoop.hive.conf.HiveConf)
        at org.codehaus.groovy.runtime.ScriptBytecodeAdapter.unwrap(ScriptBytecodeAdapter.java:55)
        at org.codehaus.groovy.runtime.callsite.PojoMetaClassSite.call(PojoMetaClassSite.java:46)
        at org.codehaus.groovy.runtime.callsite.CallSiteArray.defaultCall(CallSiteArray.java:42)
        at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:108)
        at org.codehaus.groovy.runtime.callsite.AbstractCallSite.call(AbstractCallSite.java:112)
        at com.sap.hadoop.windowing.WindowingHiveCliDriver.main(WindowingHiveCliDriver.groovy:187)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.util.RunJar.main(RunJar.java:186)

 

应该要更高版本的hive:

 

Requirements
============

- Java 1.6
- Hadoop 0.20.x (x >= 1)
- Hive > 0.7.1
 
0
1
分享到:
评论
3 楼 yugouai 2013-07-09  
https://github.com/hbutani/SQLWindowing/wiki
TopN, Lead/Lag
2011 Census data
导入到HIVE的测试数据
2 楼 superlxw1234 2013-07-09  
yugouai 写道
你好,请问你的测试数据还在吗?现在hbutani提供的URL链接不上,找了很久也找不到测试数据,如果有的,麻烦站内信联系一下,十分感谢


什么测试数据?
1 楼 yugouai 2013-07-09  
你好,请问你的测试数据还在吗?现在hbutani提供的URL链接不上,找了很久也找不到测试数据,如果有的,麻烦站内信联系一下,十分感谢

相关推荐

    hivesql语句练习

    6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------...

    部分普通sql查询在hive中的实现方式

    - **背景**:Hive不支持直接使用`HAVING`关键字,但可以通过嵌套子查询并在外层查询中使用`WHERE`条件来实现类似的功能。 - **示例**:如果想实现如下标准SQL的`HAVING`查询: ```sql SELECT gender, COUNT(*) as...

    连接hive-使用sqldeveloper作为客户端.zip

    - SQL Developer并不直接支持Hive的所有特性,如UDF(用户自定义函数)可能需要通过其他方式调用。 通过以上步骤,你就可以利用SQL Developer这一强大的数据库管理工具来便捷地操作和管理Hive数据库了。这使得非...

    hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出

    通过以上内容的学习,你将能熟练掌握Hive在大数据处理中的运用,理解其数仓设计原则,编写高效的Hive SQL查询,以及根据业务需求定制函数,并懂得如何调整参数来优化Hive的运行效率。在实践中,你可以结合实际数据集...

    SQL、Hive SQL等SQL血缘解析工具

    // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = ...

    Spark不能使用hive自定义函数.doc

    为了能够在 Spark 中使用该 UDF,可以按照以下步骤操作: 1. **准备 Hive UDF**:首先确保该 UDF 已经被正确地部署到了 Hive 中。 2. **打包 Hive UDF**:将包含 UDF 的 jar 包放置在 `/root/mqw/udf/` 目录下。 3....

    Hive函数大全.pdf

    本篇文章将详细介绍Hive中的一些主要函数,包括数学函数、类型转换函数、条件函数、字符函数、聚合函数以及表生成函数。 一、关系运算 关系运算是查询语言的基础,用于比较和筛选数据。在Hive中,主要有以下几种...

    Hive中SQL详解

    Hive中SQL详解 Hive是一个基于Hadoop构建的数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据。 Hive SQL支持绝大多数的语句,如DDL、DML、聚合函数、连接查询、条件查询等。 ...

    Hive-2.3.3在window安装需要的cmd相关

    在Hive的命令行界面,你可以使用SQL语句来创建数据库和表,加载数据,执行查询等操作。 8. **Hive和Windows兼容性问题**: 在Windows上运行Hive可能会遇到一些与Unix/Linux不同的问题,例如路径分隔符、文件权限...

    Hive面试题SQL测试题目1数据

    文章Hive面试题SQL测试题目所需数据,包含建表语句 测试数据等等...................

    HIVE-SQL操作语句

    ### HIVE-SQL操作语句详解 #### 一、创建表 (CREATE TABLE) 在Hive中,`CREATE TABLE` 语句用于创建新的表。与传统的关系型数据库类似,但在Hive中有其特殊之处。 ##### 示例 ```sql hive> CREATE TABLE pokes ...

    Hive SQL大厂必考常用窗口函数及面试题.pdf

    【Hive SQL大厂必考常用窗口函数及面试题】主要涵盖了窗⼝函数在大数据分析中的应用,尤其在OLAP(在线分析处理)场景中的重要性。窗⼝函数是一种标准SQL功能,它允许对数据库数据进行实时分析处理,如市场分析、...

    Hive_SQL语法大全

    Hive_Sql语法详述,平时工作中遇到的问题,用于Hadoop平台的数据挖掘。

    hive窗口函数.docx

    Hive 窗口函数是 Hive 中的一种强大的分析函数,它可以对数据进行分类、排序、聚合和排名等操作。下面将详细介绍 Hive 窗口函数的语法结构、分类、应用场景和实践练习。 窗口函数语法结构 窗口函数的基本语法结构...

    HiveSQL基础窗口函数学习笔记

    本学习笔记主要聚焦于HiveSQL中的窗口函数,这是进行复杂数据分析的重要工具。 窗口函数允许我们在一个数据集上进行计算,而不仅仅是基于单行记录,而是基于一个“窗口”内的多行数据。这个窗口可以是当前行及其...

    Hive函数及语法说明

    这些函数可以在 Hive 的查询语句中使用,以便对数据进行处理和分析。 #### 数值函数 Hive 提供了多种数值函数,用于执行数学运算,例如: * round(double a):返回 double 类型的四舍五入的 BIGINT 值。 * round...

    hive 和 presto sql的对比

    Hive允许在`NOT IN`子句中直接使用空值,而Presto需要显式处理空值,如示例所示,需要使用`COALESCE`函数来避免空值。 2. **日期转换**: Presto强调强类型,不支持隐式类型转换。在处理日期时,必须显式转换。...

    基于 Antlr4 的 Hive SQL 解析.zip

    在本课程设计中,主题是“基于Antlr4的Hive SQL解析”,这涉及到了两个主要的技术领域:Antlr4和Hive SQL。Antlr4是一个强大的解析工具,用于生成解析器和词法分析器,它能处理各种语言的语法,包括SQL。而Hive SQL...

    hive-exec-*.jar包

    Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar

Global site tag (gtag.js) - Google Analytics