`
yugouai
  • 浏览: 498544 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Hive CLI 常用操作

 
阅读更多

hive命令行

执行一个查询

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

之后过程中,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,接着hive进程退出,不会进入交互模式。

 

使用静音模式执行一个查询

$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a'

加入-S,终端上的输出不会有mapreduce的进度,执行完毕,只会把查询结果输出到终端上。这个静音模式很实用,,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

 

使用静音模式执行一个查询,把结果集导出

$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > tab1.csv

 

不进入交互模式,执行一个hive script

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

hive-script.sql是使用hive sql语法编写的脚本文件,执行的过程和-e类似,区别是从文件加载sql.

但是sql文件,对于bash来说,不能使用变量,而使用-e的方式,可以在bash里使用变量(但是对于sql文件的形式,可以利用程序基于变量动态生成sql文件,再执行,稍微麻烦点)。

这里可以和静音模式-S联合使用,通过第三方程序调用,第三方程序通过hive的标准输出获取结果集。

 

hive交互式模式

$HIVE_HOME/bin/hive执行时,没有-e或者-f选项,会进入交互式shell模式。

命令 描述

quit

exit

退出交互式shell
reset 重置配置为默认值
set <key>=<value>

修改特定变量的值

注意:如果变量名拼写,不会报错

set 输出用户覆盖的hive配置变量
add FILE[S] <filepath> <filepath>* 
add JAR[S] <filepath> <filepath>* 
add ARCHIVE[S] <filepath> <filepath>*
添加 一个或多个 file, jar,  archives到分布式缓存
list FILE[S] 
list JAR[S] 
list ARCHIVE[S]
输出已经添加到分布式缓存的资源。
delete FILE[S] <filepath>* 
delete JAR[S] <filepath>* 
delete ARCHIVE[S] <filepath>*
从分布式缓存删除指定的资源
! <command> 从Hive shell执行一个shell命令
dfs<dfs command> 从hive shell执行一个dfs命令
<query string> 执行一个hive查询,然后输出结果到标准输出
source FILE <filepath> 在CLI里执行一个hive脚本文件
   
   
    例子
hive> set mapred.reduce.tasks=32;
hive> set;
hive> select a.* from tab1;
hive> !ls;
hive> dfs -ls;
分享到:
评论

相关推荐

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    大数据学习路线 大数据技术栈思维导图 ...Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、Zookeeper、Flume、Sqoop等技术的学习

    非常好的大数据入门目资源,分享出来.zip

    Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark 开发环境搭建 弹性式数据集 RDD RDD 常用算子详解 Spark 运行模式与作业...

    Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件(包含官方版本中缺少的cmd文件)hive)

    在Windows 10环境下搭建大数据测试环境,Hive是一个常用的数据仓库工具,它通常与Linux系统结合使用。然而,对于Windows用户来说,由于Hive原生不支持Windows,所以传统方法需要借助Cygwin这样的模拟Linux环境来运行...

    hadoop+hive+mapreduce的java例子

    我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在...

    apache-hive-2.0.0-bin.tar.gz.zip

    这是Linux和Unix系统常用的归档格式,可以使用tar命令来处理。在命令行中,你可以输入以下命令: ```bash tar -xzf apache-hive-2.0.0-bin.tar.gz ``` 这将创建一个名为"apache-hive-2.0.0-bin"的目录,包含所有...

    hive的学习资料

    Hive 命令行选项、交互式 Shell 命令及资源调用。 **3. Hive 其他操作** 包括 Limit、Top k、正则表达式列指定、Select(GroupBy、Order Sort By)、Join、参数设置、UDF(用户定义函数)等。 4. Hive 的 ...

    Hive用户指南 Hive user guide 中文版

    其中,CLI是最常用的交互方式,它在启动时会自动启动一个Hive服务副本;而Client则是指Hive的Java客户端API,通过该API可以直接在应用程序中执行Hive SQL;WUI则提供了基于Web的用户界面,方便用户远程访问和管理...

    Hive编程指南

    5. **查询优化**:Hive提供了一些查询优化策略,如自动选择最佳执行计划(基于成本的优化器),以及通过Hive的EXPLAIN命令来查看执行计划。此外,还可以通过分区裁剪、索引和物化视图来提升查询性能。 6. **Hive与...

    Apache Hive Essentials-Packt Publishing(2015).pdf

    虽然不完全兼容标准SQL,但涵盖了大部分常用操作,如SELECT、FROM、WHERE、JOIN等。 3. **元数据(Metadata)**:元数据包括表的结构信息(字段名、类型)、分区信息以及表和表之间的关系等。Hive的元数据通常存储...

    hive常用函数参考手册.docx

    #### 二、HIVE CLI命令 Hive提供了CLI(Command Line Interface)来执行SQL语句和管理数据库。以下是一些常用的CLI命令: 1. **`SHOW FUNCTIONS;`** - **功能**:显示当前会话中有多少函数可用。 - **用途**:...

    Hive教程.pdf

    ### Hive简明教程知识点概述 #### 一、Hive简介 - **定义**: Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射成一张数据库表,并提供类SQL查询... - 使用Hive CLI执行简单查询以验证安装成功。

    hive的管理.pdf

    2. 退出Hive:在Hive CLI中,可以使用`exit`或`quit`命令退出当前会话。 3. 查看数据仓库中的表:使用`show tables`命令,Hive将列出当前数据库下的所有表。 4. 查看内置函数:要查看Hive支持的所有内置函数,可以...

    HIVE技术分享

    #### 三、Hive CLI (Hive 命令行) Hive 提供了命令行工具用于执行 HiveQL 查询和管理操作。 **常用命令行选项:** - `-d k=v`:定义变量。 - `-e "..."`:直接执行 Hive 命令。 - `-f filename`:从文件中读取并...

    数据分析系统Hive

    其中 CLI 是最常用的交互方式之一,它支持多种命令选项,例如 `-d` 或 `--define` 用于变量替换,`-e` 用于直接执行 SQL 查询字符串,`-f` 用于从文件中读取 SQL 命令,`-h` 用于连接远程的 Hive Server,等等。...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 ...

    CDH550@hive 使用及操作说明

    Beeline是Hive的一个轻量级CLI客户端,它支持通过JDBC连接到HiveServer2。使用Beeline可以通过以下命令连接到HiveServer2: ```bash beeline -u jdbc:hive2://localhost:10000/default ``` 其中`localhost`应替换为...

    hadoop上搭建hive成功后,连接mysql.pdf

    **三、在Hive中操作** 1. **启动Hive CLI**: 在另一个新窗口中,输入`hive`启动Hive的命令行界面。 2. **查看Hive数据库**: 在Hive CLI中,使用`show databases;`查看可用的数据库,包括默认的`default`数据库...

    Hive语法详解.docx (排版清晰,覆盖全面,含目录)

    - **运行HiveCLI**:使用`hive`命令启动CLI界面。 - **运行HiveServer2和Beeline**:通过`hiveserver2`启动服务端,并使用`beeline`客户端连接。 - **运行HCatalog**:HCatalog作为Hive的一个扩展,提供了一个更面向...

    大数据精选入门指南,包括大数据学习路线、大数据技术栈思维导图

    Hive CLI 和 Beeline 命令行的基本使用 Hive 使用 DDL 操作 Hive 分区表和分区表 Hive 视图和索引 Hive 使用 DML 操作 Hive数据详细查询解 三、火花 火花核心: 斯帕克简介 Spark开发环境搭建 弹性式数据集 RDD RDD...

Global site tag (gtag.js) - Google Analytics