`
dajuezhao
  • 浏览: 60968 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Shell脚本执行Hive语句

    博客分类:
  • hive
阅读更多

一、环境

1、Hadoop 0.20.2

2、Hive 0.5

3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux

二、步骤

1、直接贴上脚本吧
#!/bin/bash
#give the params: name value tablename
if [ $# -eq 3 ]
then
name=$1
value=$2
tablename=$3
echo name=${name}
echo value=${value}
echo tablename=${tablename}
else
echo "Usage: $0 username username_value tablename"
exit 1
fi

cd /run/hie/kakadata

#1.select the dialaccount, srcip
cd /jz/hiveuser/hive.kaka/
echo "insert overwrite directory '/bcpdata/kaka/ad_ip_${name}_${value}' select distinct if(account<>'',account,0)
as account, if(account<>'', 0, ip) as ip from ${tablename} where ${name}='${value}'; " | /jz/hive-0.5.0-bin/bin/hive

2、需要注意的是这里用到了hive.kaka目录下的cli,所以如果这个控制端是开启的,那么需要先退出再执行这个脚本。

三、总结

1、采用shell脚本来执行一些查询语句可以简化很多的开发工作

2、可以利用Linux自身的一些工具,实现定时的job任务

分享到:
评论

相关推荐

    使用shell脚本执行hive、sqoop命令的方法

    ### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析,而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率,简化...

    批量导出hive表结构

    通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。

    shell中循环调用hive sql 脚本的方法

    本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...

    hive-shell批量命令执行脚本的实现方法

    总结一下,这个脚本展示了如何通过Shell脚本来批量执行Hive命令,包括创建数据库、删除表、创建分区表、上传数据到HDFS以及修复表元数据。这种方法在需要自动化执行大量Hive操作时非常有用,例如在ETL流程或者数据...

    大数据采集与处理技术相关shell脚本

    根据提供的文件信息,我们可以归纳出三个主要的大数据采集与处理技术相关的Shell脚本知识点:自动创建文件、自动采集以及分区。 ### 自动创建文件 此脚本的主要功能是基于两个给定日期(`beg_date` 和 `end_date`...

    Java私塾:Hive Shell 基本操作——深入浅出学Hive

    Hive Shell 提供了一种命令行接口,用于执行 HiveQL 语句。以下是 Hive Shell 的常用命令行选项: - `-i`: 从指定的文件初始化 HiveQL 语句。 - `-e`: 直接在命令行中执行 HiveQL 语句。 - `-f`: 从指定的文件中...

    捕获hive脚本异常: echo $?

    在IT行业中,尤其是在大数据处理领域,Hive是一个广泛使用的数据仓库工具,它允许用户通过SQL-like语法查询...结合Hive的配置选项和shell脚本的控制结构,我们可以构建出强大的自动化处理流程,以应对各种复杂情况。

    hive官方文档整理

    9. 初始化脚本和交互式Shell命令:Hive命令行还支持初始化SQL文件的执行,通过"-i"选项可以在进入交互模式之前运行初始化脚本。此外,Hive还支持交互式Shell的命令和日志记录功能。 10. 资源和Beeline CLI:Hive的...

    hive Windows 可执行文件

    描述中指出,这个压缩包包含的是一个可以在Windows上运行的Hive bin目录,这意味着它包含了所有必要的脚本和可执行文件,使得用户可以在本地Windows环境中执行Hive命令。通常,Hive的bin目录包含`hive`、`hiveserver...

    Hive用户手册中文版.pdf

    Hive和Hadoop的关系非常紧密,Hive在执行查询时会将HiveQL语句转换为MapReduce任务,然后由Hadoop的MapReduce框架进行处理。Hive元数据库存储了Hive内部的元数据信息,这些信息包括表结构、数据类型和表间关系等,是...

    apache-hive-2.1.1-bin.tar.gz下的bin文件夹,包含hive.cmd

    `hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...

    hive基础知识总结

    用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...

    14-Hive查询1

    3. **使用 Shell 脚本查看 Hive 表**:通过编写简单的 Shell 脚本自动化执行 Hive 命令,查看表的信息或数据。 **总结** Hive 提供了一个便捷的接口,允许非专业程序员处理大数据。通过编译和优化过程,Hive 可以...

    Hive用户指南 Hive user guide 中文版

    - **调用外部脚本**:Hive支持通过脚本扩展其功能,例如调用Python或Shell脚本。 **2.8 删除表** - 使用`DROP TABLE table_name [PURGE]`来删除表及其所有数据。 **2.9 其他操作** - **LIMIT**:`SELECT ... ...

    Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie

    2. **Action节点**: 定义各种Hadoop作业类型,如Hive、Pig或Shell脚本。 3. **控制结构**: 使用决策、fork/join和重试等控制流来构建复杂的逻辑流程。 4. **调度与触发**: 设置定时器或依赖于其他作业的完成来触发...

    Hive2.1.1+hadoop2.7.3

    通过HiveDrive,Kettle用户可以直接在ETL过程中使用Hive的SQL语句,无需编写复杂的Java代码或者Shell脚本,简化了工作流程,提升了工作效率。 在安装Hive 2.1.1和Hadoop 2.7.3时,需要注意的是,需要确保Hadoop集群...

    hadoop hive入门学习总结

    5. 执行`hive`命令,进入Hive Shell界面,确认安装成功。 ### 2. 测试Hive #### 2.1 创建表 在Hive Shell中,可以使用SQL语句创建表。例如创建名为`studyinfo`和`score`的表: ```sql CREATE TABLE studyinfo ( ...

    hive X86_64的工具包

    1. **Hive可执行文件**:包括`bin`目录下的命令行工具,如`hive`和`beeline`,用于启动Hive shell和JDBC/ODBC连接。 2. **配置文件**:`conf`目录包含了Hive的配置文件,如`hive-site.xml`,用户可以在这里定义Hive...

Global site tag (gtag.js) - Google Analytics