hive命令行
执行一个查询
$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'
之后过程中,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,接着hive进程退出,不会进入交互模式。
使用静音模式执行一个查询
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a'
加入-S,终端上的输出不会有mapreduce的进度,执行完毕,只会把查询结果输出到终端上。这个静音模式很实用,,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。
使用静音模式执行一个查询,把结果集导出
$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > tab1.csv
不进入交互模式,执行一个hive script
$HIVE_HOME/bin/hive -f /home/my/hive-script.sql
hive-script.sql是使用hive sql语法编写的脚本文件,执行的过程和-e类似,区别是从文件加载sql.
但是sql文件,对于bash来说,不能使用变量,而使用-e的方式,可以在bash里使用变量(但是对于sql文件的形式,可以利用程序基于变量动态生成sql文件,再执行,稍微麻烦点)。
这里可以和静音模式-S联合使用,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。
hive交互式模式
当$HIVE_HOME/bin/hive执行时,没有-e或者-f选项,会进入交互式shell模式。
命令 | 描述 |
quit exit |
退出交互式shell |
reset | 重置配置为默认值 |
set <key>=<value> |
修改特定变量的值 注意:如果变量名拼写,不会报错 |
set | 输出用户覆盖的hive配置变量 |
add FILE[S] <filepath> <filepath>* add JAR[S] <filepath> <filepath>* add ARCHIVE[S] <filepath> <filepath>* |
添加 一个或多个 file, jar, archives到分布式缓存 |
list FILE[S] list JAR[S] list ARCHIVE[S] |
输出已经添加到分布式缓存的资源。 |
delete FILE[S] <filepath>* delete JAR[S] <filepath>* delete ARCHIVE[S] <filepath>* |
从分布式缓存删除指定的资源 |
! <command> | 从Hive shell执行一个shell命令 |
dfs<dfs command> | 从hive shell执行一个dfs命令 |
<query string> | 执行一个hive查询,然后输出结果到标准输出 |
source FILE <filepath> | 在CLI里执行一个hive脚本文件 |
hive> set mapred.reduce.tasks=32; hive> set; hive> select a.* from tab1; hive> !ls; hive> dfs -ls;
相关推荐
大数据学习路线 大数据技术栈思维导图 ...Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习
Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark 开发环境搭建 弹性式数据集 RDD RDD 常用算子详解 Spark 运行模式与作业...
在Windows 10环境下搭建大数据测试环境,Hive是一个常用的数据仓库工具,它通常与Linux系统结合使用。然而,对于Windows用户来说,由于Hive原生不支持Windows,所以传统方法需要借助Cygwin这样的模拟Linux环境来运行...
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在...
这是Linux和Unix系统常用的归档格式,可以使用tar命令来处理。在命令行中,你可以输入以下命令: ```bash tar -xzf apache-hive-2.0.0-bin.tar.gz ``` 这将创建一个名为"apache-hive-2.0.0-bin"的目录,包含所有...
Hive 命令行选项、交互式 Shell 命令及资源调用。 **3. Hive 其他操作** 包括 Limit、Top k、正则表达式列指定、Select(GroupBy、Order Sort By)、Join、参数设置、UDF(用户定义函数)等。 4. Hive 的 ...
其中,CLI是最常用的交互方式,它在启动时会自动启动一个Hive服务副本;而Client则是指Hive的Java客户端API,通过该API可以直接在应用程序中执行Hive SQL;WUI则提供了基于Web的用户界面,方便用户远程访问和管理...
5. **查询优化**:Hive提供了一些查询优化策略,如自动选择最佳执行计划(基于成本的优化器),以及通过Hive的EXPLAIN命令来查看执行计划。此外,还可以通过分区裁剪、索引和物化视图来提升查询性能。 6. **Hive与...
虽然不完全兼容标准SQL,但涵盖了大部分常用操作,如SELECT、FROM、WHERE、JOIN等。 3. **元数据(Metadata)**:元数据包括表的结构信息(字段名、类型)、分区信息以及表和表之间的关系等。Hive的元数据通常存储...
#### 二、HIVE CLI命令 Hive提供了CLI(Command Line Interface)来执行SQL语句和管理数据库。以下是一些常用的CLI命令: 1. **`SHOW FUNCTIONS;`** - **功能**:显示当前会话中有多少函数可用。 - **用途**:...
### Hive简明教程知识点概述 #### 一、Hive简介 - **定义**: Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询... - 使用Hive CLI执行简单查询以验证安装成功。
2. 退出Hive:在Hive CLI中,可以使用`exit`或`quit`命令退出当前会话。 3. 查看数据仓库中的表:使用`show tables`命令,Hive将列出当前数据库下的所有表。 4. 查看内置函数:要查看Hive支持的所有内置函数,可以...
#### 三、Hive CLI (Hive 命令行) Hive 提供了命令行工具用于执行 HiveQL 查询和管理操作。 **常用命令行选项:** - `-d k=v`:定义变量。 - `-e "..."`:直接执行 Hive 命令。 - `-f filename`:从文件中读取并...
其中 CLI 是最常用的交互方式之一,它支持多种命令选项,例如 `-d` 或 `--define` 用于变量替换,`-e` 用于直接执行 SQL 查询字符串,`-f` 用于从文件中读取 SQL 命令,`-h` 用于连接远程的 Hive Server,等等。...
常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 ...
Beeline是Hive的一个轻量级CLI客户端,它支持通过JDBC连接到HiveServer2。使用Beeline可以通过以下命令连接到HiveServer2: ```bash beeline -u jdbc:hive2://localhost:10000/default ``` 其中`localhost`应替换为...
**三、在Hive中操作** 1. **启动Hive CLI**: 在另一个新窗口中,输入`hive`启动Hive的命令行界面。 2. **查看Hive数据库**: 在Hive CLI中,使用`show databases;`查看可用的数据库,包括默认的`default`数据库...
- **运行HiveCLI**:使用`hive`命令启动CLI界面。 - **运行HiveServer2和Beeline**:通过`hiveserver2`启动服务端,并使用`beeline`客户端连接。 - **运行HCatalog**:HCatalog作为Hive的一个扩展,提供了一个更面向...
Hive CLI 和 Beeline 命令行的基本使用 Hive 使用 DDL 操作 Hive 分区表和分区表 Hive 视图和索引 Hive 使用 DML 操作 Hive数据详细查询解 三、火花 火花核心: 斯帕克简介 Spark开发环境搭建 弹性式数据集 RDD RDD...