impala-shell安装及使用

1. impala简介：

Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。

 

2. Impala Shell使用
Impala使用Hive SQL进行数据查询，因此Impala Shell在使用方面也效仿了Hive，在许多命令的用法上和Hive有相近之处，但使用细节又有所区别。
Impala Shell和Hive的相同之处：
 使用Hive SQL进行数据查询；
 在许多命令使用上是一样的。
Impala Shell和Hive的不同之处：
 Hive对语句解析的结束标志是”;”，而Impala Shell对语句解析的结束标志是回车；
 Hive对命令的错误信息相对Impala Shell比较详细；
 Impala使用的SQL只是Hive SQL的子集。 

 

-h：查看命令用法
-i ：指定daemon的地址
-q：指定查询的sql语句
-B：格式化输出* 大量数据加入格式化，性能受到影响
  –output_delimiter=character （指定分隔符与其他命令整合，默认是\t分割）
  –print_header 打印列名（去格式化，但是显示列名字，默认不打印）
-v：查看版本号
-f ：后跟查询文件
  建议sql 语句写到一行，因为shell 会读取文件一行一行的命令
-o：数据数据到文件中
-r ：刷新所有元数据(当hive创建表的时候，你需要刷新到，才能看到hive元数据的改变)
  整体刷新，全量刷新，万不得已才能用；
  不建议定时去刷新hive源数据，数据量太大时候，一个刷新，很有可能会挂掉；

   

3. 安装impala-shell（安装包见附件）

rpm -ivh impala-shell-2.5.0+cdh5.7.0+0-1.cdh5.7.0.p0.147.el6.x86_64.rpm

 

4. 执行查询

impala-shell -i 127.0.0.1 -q "select msisdn,sum(pv) as pv from test where day=20180706 group by msisdn order by sum(pv) desc" -B --output_delimiter="," -o "/home/test.txt"