`
liyonghui160com
  • 浏览: 777047 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

shell中执行hive语句

    博客分类:
  • hive
阅读更多

 

 

1.执行select查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

$HIVE_HOME/bin/hive -e "use mydb;select a.col from tab1 a where a.dt='2015-01-07';"

 

2.加入配置变量的查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scratchdir=/home/my/hive_scratch  -hiveconf mapred.reduce.tasks=32

 

3.查询结果输出为文本

 $HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

 

4.执行sql语句文件

 

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

 

 

#!/bin/bash  
#设置日志文件存放目录
cd /
cd /home/deploy/recsys/workspace
yesterday=$(date -d '-1 day' '+%Y-%m-%d')
$HIVE_HOME/bin/hive -e "use mydb;ALTER TABLE mytable ADD PARTITION (dt = '$yesterday') LOCATION '/user/hive/warehouse/tail/$yesterday/';"

#$HIVE_HOME/bin/hive -e "use mydb;select msec from mytable where dt='2015-01-07'"
 

供您思考的问题

 hive sql && mapreduce job 

第一个命令 然后跟个空格然后跟两个&& 然后跟第二个命令
第一个命令不正确执行完毕是不会执行第二个命令的。

不知道对不对?

 

 

分享到:
评论

相关推荐

    使用shell脚本执行hive、sqoop命令的方法

    1. **变量定义**:通过`CURR_DATE=$(date +"%Y-%m-%d %H:%M:%S")`定义当前日期时间变量,使用双引号来保证变量能够正确传入到Hive SQL语句中。 2. **Hive SQL语句**:使用`hive -e`命令执行SQL语句,其中`-e`参数...

    Java私塾:Hive Shell 基本操作——深入浅出学Hive

    <cmd>`: 在 Hive Shell 中执行一个系统命令。 - `dfs <dfs command>`: 在 HDFS 上执行命令。 - `<query string>`: 执行查询并显示结果。 ### 日志 Hive 使用 Log4J 处理日志。通过调整 `hive.root.logger` 的级别...

    hivesql语句练习

    6. Jline包版本不一致的问题,需要拷贝hive的lib目录中jline.2.12.jar的jar包替换掉hadoop中的 /home/hadoop/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar 启动hive bin/hive ---------------------...

    shell中循环调用hive sql 脚本的方法

    本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...

    hive-shell批量命令执行脚本的实现方法

    本文将详细讲解如何使用Hive与Shell结合,实现批量执行Hive命令的脚本,这对于数据处理和ETL(提取、转换、加载)流程来说是极其有用的。 首先,我们需要设置Hadoop和Hive的环境变量。在上述脚本中,`HADOOP_HOME` ...

    批量导出hive表结构

    通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。

    hive Windows 可执行文件

    描述中指出,这个压缩包包含的是一个可以在Windows上运行的Hive bin目录,这意味着它包含了所有必要的脚本和可执行文件,使得用户可以在本地Windows环境中执行Hive命令。通常,Hive的bin目录包含`hive`、`hiveserver...

    spark或mr引擎插入的数据,hive表查询数据为0

    问题的根本原因在于数据写入过程中生成了一个额外的子目录`HIVE_UNION_SUBDIR_1`(或类似的命名),这是由于Tez引擎在执行`UNION ALL`操作时的一个特性所致。当使用`UNION ALL`操作时,Tez引擎会在原始分区目录下...

    Hive使用手册Hive使用手册

    - 子查询在查询语句中嵌套另一个查询,用于筛选或聚合数据。 - UNION ALL用于合并多个SELECT结果集,不剔除重复行。 9. **Hive使用注意点** - 确保数据格式与表结构匹配。 - 优化查询,避免全表扫描和过度复杂...

    hive官方文档整理

    如"-e"选项允许直接在命令行中输入SQL查询,而"-f"选项则可以指定一个文件,Hive将执行该文件中的SQL命令。 3. 变量替换:Hive命令行提供"-d"和"--define"选项,用于在执行查询前定义变量。这些变量可以在查询字符...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期_Hive应用开发_V1.0 共29页.pdf

    - **Hive语句执行**:在Shell中执行查询语句,如`select name from xp;`,会启动MapReduce任务进行处理。Hive会将数据存储在HDFS的特定目录下,如`/user/hive/warehouse`,每个表对应一个以表名命名的子目录。 - *...

    apache-hive-2.1.1-bin.tar.gz下的bin文件夹,包含hive.cmd

    `hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...

    捕获hive脚本异常: echo $?

    本文将深入探讨如何在执行Hive脚本时捕获并处理异常,以及如何利用shell命令"echo $"来检查脚本的退出状态,以便更好地管理和优化Hive作业。 首先,我们来看标题“捕获hive脚本异常:echo $?”。在Linux或Unix系统...

    Hive用户手册中文版.pdf

    在Hive中,可以通过CLI(命令行界面)执行HiveQL语句。用户可以使用不同的命令行选项来启动交互式Shell命令或者提交查询脚本。Hive还支持调用Python、Shell等外部脚本语言,从而实现复杂的外部数据处理逻辑。 Hive...

    网站流量分析项目hive sql语句1

    - 用户通过在Hive的bin目录下执行`./hive`命令来启动Hive的交互式Shell。 2. **创建数据库和外部表**: - 使用`create database weblog;`创建名为`weblog`的数据库。 - 创建一个名为`flux`的外部分区表,通过`...

    Hive用户指南 Hive user guide 中文版

    - **Hive交互式Shell命令**:可以在Hive Shell中执行各种命令。 - **Hive资源管理**:涉及如何管理和控制Hive使用的资源。 - **调用外部脚本**:Hive支持通过脚本扩展其功能,例如调用Python或Shell脚本。 **2.8 ...

    hive基础知识总结

    用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...

    hive-exec-2.1.1.jar

    在这个场景中,我们主要关注的是"Hive-exec-2.1.1.jar"这个文件,它是Hive执行引擎的核心组件,包含了执行HQL查询所需的各种操作和函数。 标题提到的"show create table 表名"是Hive的一个常用命令,用于展示创建...

Global site tag (gtag.js) - Google Analytics