执行hive查询实例
执行select查询
加入配置变量的查询
查询结果输出为文本
执行sql语句文件
不打印执行进度
执行select查询
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
加入配置变量的查询
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' -hiveconf hive.exec.scratchdir=/home/my/hive_scratch -hiveconf mapred.reduce.tasks=32
查询结果输出为文本
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt
执行sql语句文件
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
不打印执行进度
hive -S -f /home/usr/my.sql
发表评论
-
Linux几种压缩工具或库的简单测试
2016-01-16 15:22 778网址: http://jeoygin.org/2011/ ... -
linux共享文件夹
2016-01-06 10:52 414linux共享文件夹: http://www.cnblo ... -
centOS yum 安装mysql
2014-08-21 21:46 436安装MySQL 安装MySQL [root@localhost ... -
awk入门
2014-08-11 10:01 0简介 awk是一个强大的文本分析工具,相对于g ... -
hive的优化2
2014-07-07 14:42 836Hive的优化 Hi ... -
linux,shell学习(七)
2014-06-15 11:49 518脚本参数传递 1.shi ... -
linux,shell学习(六)
2014-06-15 11:15 425shell函数 1.定义函数 4.函数文 ... -
hive常见问题
2014-06-13 17:41 1050在做kettle与hive对接的时候, 启动hiveserve ... -
linux,shell学习(五)
2014-06-12 22:15 1005文本过滤 1.正则表达式介绍 4.awk介绍 2.find介 ... -
linux,shell学习(四)
2014-05-27 22:10 509控制流结构 1.控制结构 6.while循环 2.i ... -
hive的优化1
2014-05-26 11:31 759一、join优化 Join查找操作的基本原则:应该将条 ... -
hive文件压缩存储格式
2014-05-26 11:19 749hive文件存储格式包括以下几类: 1.TEXTFILE 2. ... -
linux,shell学习(三)
2014-05-25 22:53 891shell的输入与输出 1.echo7 ... -
linux,shell学习(二)
2014-05-24 22:43 308变量和运算符 1.什么是shell变量 2.本 ... -
linux,shell学习(一)
2014-05-24 17:26 4731.1 什么是shell shell是核心程序(kernel) ... -
linux 下使用gzip压缩与解压文件
2014-05-20 22:02 641linux 下使用gzip压缩与解压文件 gzip 和 g ... -
hive 函数
2014-05-20 16:47 696字符串函数 字符串长度函数:length 语法: length ... -
hive入门知识
2014-05-20 10:19 1098一. Hive 简介 Hive 是基于 hadoop 分 ... -
Shell编程基础
2014-05-09 15:37 482我们可以使用任意一种文字编辑器,比如gedit、kedit、e ... -
Hive左连接
2014-05-05 10:32 862CREATE EXTERNAL TABLE IF NOT EX ...
相关推荐
Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,使不熟悉MapReduce的用户也可以用SQL语句进行数据查询,从而达到减少开发成本的目的。 #### Sqoop命令...
Hive Shell 提供了一种命令行接口,用于执行 HiveQL 语句。以下是 Hive Shell 的常用命令行选项: - `-i`: 从指定的文件初始化 HiveQL 语句。 - `-e`: 直接在命令行中执行 HiveQL 语句。 - `-f`: 从指定的文件中...
通过shell脚本,批量把一个库下面的表结构全部导出,在开发环境执行过。
Hive 的查询过程遵循 Hadoop MapReduce 作业执行模型,将用户的 SQL 语句转化为 MapReduce 作业在 Hadoop 集群上运行。 **Hive查询执行流程** 1. **用户提交查询**:用户通过 Hive 的命令行接口或应用程序提交查询...
通过上述分析可以看出,对于“Spark或MR引擎插入的数据,Hive表查询数据为0”的问题,主要是因为Tez引擎在执行`UNION ALL`操作时生成了额外的子目录,而查询引擎未能正确处理这些子目录。通过改变数据写入方式或是...
本文将详细讲解如何使用Hive与Shell结合,实现批量执行Hive命令的脚本,这对于数据处理和ETL(提取、转换、加载)流程来说是极其有用的。 首先,我们需要设置Hadoop和Hive的环境变量。在上述脚本中,`HADOOP_HOME` ...
1.Hive交互shell bin/hive 2.Hive JDBC服务(参考java jdbc连接mysql) 3.hive启动为一个服务器,来对外提供服务 bin/hiveserver2 nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver....
本文将详细介绍如何在Shell脚本中循环调用Hive SQL语句,以便实现批量处理数据或者执行一系列相关的查询操作。 首先,我们要理解Shell脚本的基本结构和Hive SQL的功能。Shell脚本是一种解释型的编程语言,主要用于...
Hive是Apache Hadoop生态系统中的一个数据仓库工具,它允许用户使用SQL(称为HQL)进行大规模数据集的查询和分析。在Windows环境下,Hive的安装和使用可能与Linux或Unix系统有所不同,但同样提供了方便的数据管理...
8. 数据库选择:在Hive 0.10.0版本之后,增加了"--database"选项来指定在执行查询前应使用的数据库。 9. 初始化脚本和交互式Shell命令:Hive命令行还支持初始化SQL文件的执行,通过"-i"选项可以在进入交互模式之前...
Hive和Hadoop的关系非常紧密,Hive在执行查询时会将HiveQL语句转换为MapReduce任务,然后由Hadoop的MapReduce框架进行处理。Hive元数据库存储了Hive内部的元数据信息,这些信息包括表结构、数据类型和表间关系等,是...
Hive 提供了一个交互式 Shell,用于交互式地执行 HiveQL 语句。交互式 Shell 可以通过 Hive 的命令行接口或 Hive 的 Java API 实现。 Impala Impala 是一个高性能的分布式SQL查询引擎,用于快速查询和分析大规模...
- Hive内部使用MapReduce来执行查询。 #### 八、使用Hive注意事项 - **字符集问题**:在处理文本数据时需要注意字符集的匹配。 - **压缩**:合理选择压缩算法可以显著减少存储空间和提高查询性能。 - **COUNT...
本文将深入探讨如何在执行Hive脚本时捕获并处理异常,以及如何利用shell命令"echo $"来检查脚本的退出状态,以便更好地管理和优化Hive作业。 首先,我们来看标题“捕获hive脚本异常:echo $?”。在Linux或Unix系统...
`hive.cmd`是Windows环境下执行Hive的命令脚本,它是一个批处理文件,用于启动Hive的交互式Shell。当用户在Windows系统上输入`hive`命令时,实际上就是在运行这个`hive.cmd`脚本。脚本内部会设置环境变量,如HADOOP_...
连接Hive通常通过Hive Shell或使用其他支持Hive的客户端如Beeline、Hue等。要连接Hive,你需要知道Hive服务器的地址、端口以及认证方式(如果有的话)。 2. **Hive支持的数据类型** - **原子数据类型** 包括:INT...
Hive的核心理念是将SQL语句转换为MapReduce任务进行执行,这使得非Java背景的分析师也能方便地处理大数据。Hive提供了多种组件,包括HiveQL(Hive的SQL方言)、元数据存储、查询解析器、优化器和执行器。学习Hive,...
用户可以在查询语句中引用这些变量,Hive会在执行前将变量值替换进查询语句中。例如,在CLI中,可以通过`set`命令查看或修改变量值,例如`set env:HOME;`可以显示当前用户的主目录路径。 此外,`set -v`命令可以列...