1.执行select查询
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
$HIVE_HOME/bin/hive -e "use mydb;select a.col from tab1 a where a.dt='2015-01-07';"
2.加入配置变量的查询
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scratchdir=/home/my/hive_scratch -hiveconf mapred.reduce.tasks=32
3.查询结果输出为文本
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt
4.执行sql语句文件
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
#!/bin/bash #设置日志文件存放目录 cd / cd /home/deploy/recsys/workspace yesterday=$(date -d '-1 day' '+%Y-%m-%d') $HIVE_HOME/bin/hive -e "use mydb;ALTER TABLE mytable ADD PARTITION (dt = '$yesterday') LOCATION '/user/hive/warehouse/tail/$yesterday/';" #$HIVE_HOME/bin/hive -e "use mydb;select msec from mytable where dt='2015-01-07'"
相关推荐
1. **变量定义**:通过`CURR_DATE=$(date +"%Y-%m-%d %H:%M:%S")`定义当前日期时间变量,使用双引号来保证变量能够正确传入到Hive SQL语句中。 2. **Hive SQL语句**:使用`hive -e`命令执行SQL语句,其中`-e`参数...
<cmd>`: 在 Hive Shell 中执行一个系统命令。 - `dfs <dfs command>`: 在 HDFS 上执行命令。 - `<query string>`: 执行查询并显示结果。 ### 日志 Hive 使用 Log4J 处理日志。通过调整 `hive.root.logger` 的级别...
6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------...
本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...
本文将详细讲解如何使用Hive与Shell结合,实现批量执行Hive命令的脚本,这对于数据处理和ETL(提取、转换、加载)流程来说是极其有用的。 首先,我们需要设置Hadoop和Hive的环境变量。在上述脚本中,`HADOOP_HOME` ...
通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。
描述中指出,这个压缩包包含的是一个可以在Windows上运行的Hive bin目录,这意味着它包含了所有必要的脚本和可执行文件,使得用户可以在本地Windows环境中执行Hive命令。通常,Hive的bin目录包含`hive`、`hiveserver...
如"-e"选项允许直接在命令行中输入SQL查询,而"-f"选项则可以指定一个文件,Hive将执行该文件中的SQL命令。 3. 变量替换:Hive命令行提供"-d"和"--define"选项,用于在执行查询前定义变量。这些变量可以在查询字符...
- 子查询在查询语句中嵌套另一个查询,用于筛选或聚合数据。 - UNION ALL用于合并多个SELECT结果集,不剔除重复行。 9. **Hive使用注意点** - 确保数据格式与表结构匹配。 - 优化查询,避免全表扫描和过度复杂...
- **Hive语句执行**:在Shell中执行查询语句,如`select name from xp;`,会启动MapReduce任务进行处理。Hive会将数据存储在HDFS的特定目录下,如`/user/hive/warehouse`,每个表对应一个以表名命名的子目录。 - *...
`hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...
本文将深入探讨如何在执行Hive脚本时捕获并处理异常,以及如何利用shell命令"echo $"来检查脚本的退出状态,以便更好地管理和优化Hive作业。 首先,我们来看标题“捕获hive脚本异常:echo $?”。在Linux或Unix系统...
在Hive中,可以通过CLI(命令行界面)执行HiveQL语句。用户可以使用不同的命令行选项来启动交互式Shell命令或者提交查询脚本。Hive还支持调用Python、Shell等外部脚本语言,从而实现复杂的外部数据处理逻辑。 Hive...
- 用户通过在Hive的bin目录下执行`./hive`命令来启动Hive的交互式Shell。 2. **创建数据库和外部表**: - 使用`create database weblog;`创建名为`weblog`的数据库。 - 创建一个名为`flux`的外部分区表,通过`...
- **Hive交互式Shell命令**:可以在Hive Shell中执行各种命令。 - **Hive资源管理**:涉及如何管理和控制Hive使用的资源。 - **调用外部脚本**:Hive支持通过脚本扩展其功能,例如调用Python或Shell脚本。 **2.8 ...
用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...
在这个场景中,我们主要关注的是"Hive-exec-2.1.1.jar"这个文件,它是Hive执行引擎的核心组件,包含了执行HQL查询所需的各种操作和函数。 标题提到的"show create table 表名"是Hive的一个常用命令,用于展示创建...
Hive 提供了一个交互式 Shell,用于交互式地执行 HiveQL 语句。交互式 Shell 可以通过 Hive 的命令行接口或 Hive 的 Java API 实现。 Impala Impala 是一个高性能的分布式SQL查询引擎,用于快速查询和分析大规模...