一、环境
1、Hadoop 0.20.2
2、Hive 0.5
3、操作系统 Linux m131 2.6.9-78.8AXS2smp #1 SMP Tue Dec 16 02:42:55 EST 2008 x86_64 x86_64 x86_64 GNU/Linux
二、步骤
1、直接贴上脚本吧
#!/bin/bash
#give the params: name value tablename
if [ $# -eq 3 ]
then
name=$1
value=$2
tablename=$3
echo name=${name}
echo value=${value}
echo tablename=${tablename}
else
echo "Usage: $0 username username_value tablename"
exit 1
fi
cd /run/hie/kakadata
#1.select the dialaccount, srcip
cd /jz/hiveuser/hive.kaka/
echo "insert overwrite directory '/bcpdata/kaka/ad_ip_${name}_${value}' select distinct if(account<>'',account,0)
as account, if(account<>'', 0, ip) as ip from ${tablename} where ${name}='${value}'; " | /jz/hive-0.5.0-bin/bin/hive
2、需要注意的是这里用到了hive.kaka目录下的cli,所以如果这个控制端是开启的,那么需要先退出再执行这个脚本。
三、总结
1、采用shell脚本来执行一些查询语句可以简化很多的开发工作
2、可以利用Linux自身的一些工具,实现定时的job任务
分享到:
相关推荐
### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析,而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率,简化...
通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。
本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...
总结一下,这个脚本展示了如何通过Shell脚本来批量执行Hive命令,包括创建数据库、删除表、创建分区表、上传数据到HDFS以及修复表元数据。这种方法在需要自动化执行大量Hive操作时非常有用,例如在ETL流程或者数据...
根据提供的文件信息,我们可以归纳出三个主要的大数据采集与处理技术相关的Shell脚本知识点:自动创建文件、自动采集以及分区。 ### 自动创建文件 此脚本的主要功能是基于两个给定日期(`beg_date` 和 `end_date`...
Hive Shell 提供了一种命令行接口,用于执行 HiveQL 语句。以下是 Hive Shell 的常用命令行选项: - `-i`: 从指定的文件初始化 HiveQL 语句。 - `-e`: 直接在命令行中执行 HiveQL 语句。 - `-f`: 从指定的文件中...
在IT行业中,尤其是在大数据处理领域,Hive是一个广泛使用的数据仓库工具,它允许用户通过SQL-like语法查询...结合Hive的配置选项和shell脚本的控制结构,我们可以构建出强大的自动化处理流程,以应对各种复杂情况。
9. 初始化脚本和交互式Shell命令:Hive命令行还支持初始化SQL文件的执行,通过"-i"选项可以在进入交互模式之前运行初始化脚本。此外,Hive还支持交互式Shell的命令和日志记录功能。 10. 资源和Beeline CLI:Hive的...
描述中指出,这个压缩包包含的是一个可以在Windows上运行的Hive bin目录,这意味着它包含了所有必要的脚本和可执行文件,使得用户可以在本地Windows环境中执行Hive命令。通常,Hive的bin目录包含`hive`、`hiveserver...
Hive和Hadoop的关系非常紧密,Hive在执行查询时会将HiveQL语句转换为MapReduce任务,然后由Hadoop的MapReduce框架进行处理。Hive元数据库存储了Hive内部的元数据信息,这些信息包括表结构、数据类型和表间关系等,是...
`hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...
用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...
3. **使用 Shell 脚本查看 Hive 表**:通过编写简单的 Shell 脚本自动化执行 Hive 命令,查看表的信息或数据。 **总结** Hive 提供了一个便捷的接口,允许非专业程序员处理大数据。通过编译和优化过程,Hive 可以...
- **调用外部脚本**:Hive支持通过脚本扩展其功能,例如调用Python或Shell脚本。 **2.8 删除表** - 使用`DROP TABLE table_name [PURGE]`来删除表及其所有数据。 **2.9 其他操作** - **LIMIT**:`SELECT ... ...
2. **Action节点**: 定义各种Hadoop作业类型,如Hive、Pig或Shell脚本。 3. **控制结构**: 使用决策、fork/join和重试等控制流来构建复杂的逻辑流程。 4. **调度与触发**: 设置定时器或依赖于其他作业的完成来触发...
通过HiveDrive,Kettle用户可以直接在ETL过程中使用Hive的SQL语句,无需编写复杂的Java代码或者Shell脚本,简化了工作流程,提升了工作效率。 在安装Hive 2.1.1和Hadoop 2.7.3时,需要注意的是,需要确保Hadoop集群...
5. 执行`hive`命令,进入Hive Shell界面,确认安装成功。 ### 2. 测试Hive #### 2.1 创建表 在Hive Shell中,可以使用SQL语句创建表。例如创建名为`studyinfo`和`score`的表: ```sql CREATE TABLE studyinfo ( ...
1. **Hive可执行文件**:包括`bin`目录下的命令行工具,如`hive`和`beeline`,用于启动Hive shell和JDBC/ODBC连接。 2. **配置文件**:`conf`目录包含了Hive的配置文件,如`hive-site.xml`,用户可以在这里定义Hive...