0 hive 简介,安装,本地文件上传到hive操作

chengjianxiaoxue

浏览: 1324485 次
性别:
来自: 北京

最近访客更多访客>>

liu_shui8

happy2012

nddht

yhtppp

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

hive

1 简介：

架构图：

hive和hadoop交互关系图：

上述流程图整理如下：

1、通过用户界面提交SQL		驱动接收SQL
2、驱动将SQL传送给编译器	
3、编译器获得SQL		检查语法、匹配资源、去metastore查询
4、metastore返回相应的数据库字段信息	优化SQL、产生执行计划
5、驱动接收执行计划			将执行计划发送执行引擎
6、执行引擎解析
6.1、	DDL操作：直接和metastore交互
		create table t1(name string);
		drop table t1;
6.1、	DML：直接读取数据，和namenode、datanode交互
		select * from t1 limit 100;
		select name form t1;   现在的hive已经能够针对查询单个列来不执行mr直接和namenode datanode交互了 

6.1、	执行MapReduce
		跑MR job
		返回结果集信息
		select count(1) from t1;

a) 概念：

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。
同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Hive作为数据仓库，仓库中的数据是存储在HDFS中，HQL语句的执行是转化为MapReduce的job执行的。也就是说，Hive只是把HQL语句转换为MapReduce的job，然后交给MapReduce去查询位于HDFS中的数据。
因此，Hive依赖于Hadoop，没有Hadoop就没有Hive。

b) 解释：

b.1) 数据库侧重于一些操作型的事情，事务型的东西，底层设计侧重于操作

b.2) 数据仓库侧重于查询，底层设计侧重于查询，在相同数据量下，数据仓库查询速度会更快。

b.3) hive和mapreduce的区别：
相同处：都是对海量数据的查询
不同处：
mapreduce是用Java开发的，对非Java的人有瓶颈，
hive：封装在Hadoop之上的可以使用SQL进行海量数据查询的框架，因为SQL学习简单使用简单因此降低了使用门槛。

b.4) ETL:
E: 抽取比如业务提供9个字段，我们之获取4个字段
T: 转化 transform，比如有的业务男女用 true false,有的业务用1,0 在汇总到hive时，需要转成统一标示
L: 加载 load

b.5) hive其数据仓库的数据是外面导入进来的。

b.6) hive转化成mapreduce时，需要知道启多少个map 多少个reduce，运行的数量和运行速度是需要关心的。
对hive的优化实际就是对生成的map-reduce的优化。

c) HQL中的信息和hdfs对应规则如下:

表 ----> hdfs文件/文件夹
表中数据 ----> hdfs文件/文件夹内数据
表中列 ----> hdfs文件数据的不同字段

以上对应关系存放在hive的metastore组件中，metastore表现为关系数据库，可以是derby，也可以是mysql

类比于 hibernate和mysql的对应关系：
User <------> cn_user 对应关系在 *.hbm.xml内

metastore表现默认使用derby，但是这种存储太小众，一般需要将hive和hdfs对应关系存储在MySQL中

hive除了有SQL， UDF
还支持熟悉mr的用户自定义mapper reducer来处理内建的mapper reducer无法完成的复杂分析工作。

是解析引擎，将SQL转换为mr任务，来在hadoop上执行。

何时走jobtracker select 非* ，

(据说在高版本的hive中这种查询不需要再走mr,在hive0.13测试中发现还在走mr)
何时走namenode select *

eg: select count(1) from stu; 处理后的结果就是reduce信息的输出结果,依旧会去Hadoop中来找最后的存储结果。

只要具备Hadoop环境的每一台机器都可以安装hive, 没有必要安装成hive集群。

2 安装hive

2.1）一定要配置在Hadoop集群的某个节点上

2.2）类比于QQ，是一款比较简易的客户端安装软件，安装简单

2.3）安装过程：

[root@master local]# tar -zxvf hive-0.9.0.tar.gz   解压
[root@master local]# mv hive-0.9.0 hive    改名
[root@master hive]# cd conf 
[root@master conf]# ls
hive-default.xml.template  hive-exec-log4j.properties.template
hive-env.sh.template       hive-log4j.properties.template
[root@master conf]# mv hive-exec-log4j.properties.template  hive-exec-log4j.properties
[root@master conf]# mv hive-log4j.properties.template hive-log4j.properties
[root@master conf]# ls
hive-default.xml.template  hive-exec-log4j.properties
hive-env.sh.template       hive-log4j.properties
[root@master conf]# mv hive-env.sh.template  hive-env.sh
[root@master conf]# mv hive-default.xml.template  hive-default.xml
[root@master conf]# cp hive-default.xml hive-site.xml
[root@master conf]# ls
hive-default.xml  hive-exec-log4j.properties  hive-site.xml
hive-env.sh       hive-log4j.properties

[root@master conf]# cat hive-site.xml    修改hive-site.xml 成如下样子：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>  
        <name>javax.jdo.option.ConnectionURL</name>  
        <value>jdbc:mysql://single:3306/hive?createDatabaseIfNotExist=true</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionDriverName</name>  
        <value>com.mysql.jdbc.Driver</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionUserName</name>  
        <value>root</value>  
</property>  
<property>  
        <name>javax.jdo.option.ConnectionPassword</name>  
        <value>123456</value>  
</property> 

</configuration>

[root@master bin]# vi hive-config.sh   修改hive/bin/hive-config.sh  增加如下信息：

export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop  // 关联上hadoop集群
export HIVE_HOME=/usr/local/hive

[root@master bin]# ls       
ext  hive  hive-config.sh
[root@master bin]# jps
20011 Jps
9800 JobTracker
9572 NameNode
9721 SecondaryNameNode
[root@master bin]# hive    保证Hadoop集群开启下，来启动hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/usr/local/hive/conf/hive-log4j.properties ----> 标明配置写出日志文件的配置文件
Hive history file=/tmp/root/hive_job_log_root_201412111909_207218151.txt   -----> 表示日志文件
hive> show databases;   
OK
default
Time taken: 14.129 seconds
hive> use default;
OK
Time taken: 0.141 seconds
hive> show tables;
OK
Time taken: 0.995 seconds
hive> create table t1(id int);
OK
Time taken: 1.015 seconds
hive> show tables;
OK
t1
Time taken: 0.068 seconds
hive> quit;
[root@master bin]# ls -->上面表创建后，可见下面增加文件derby.log和metastore_db
derby.log  ext  hive  hive-config.sh  metastore_db

2.3.1）配置hive环境变量：

配置hive环境变量：
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export HIVE_HOME=/usr/local/hive
export PATH=.:$HIVE_HOME/bin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
[root@master data]# source /etc/profile   立马生效

2.4） hive默认数据库对应hdfs路径：

hive中的数据库，表对应HDFS中文件夹对应关系：

http://master:50070/dfshealth.jsp
--->Browse the filesystem
--->user
--->hive
--->warehouse
--->t1 看到我们通过命令创建的表 对应目录为：/user/hive/warehouse/t1

其中：
当hive部署成功后，hive默认的数据库default在hdfs上对应的目录是/user/hive/warehouse

如下图：

2.5） hive 映射关系metastore 将默认derby修改成mysql做法：

前提
a) mysql数据库安装上
b) 如果mysql服务没有安装在当前hive所在机器，那么设置mysql服务远程连接和操作授权
c) 将mysql-jdbc驱动扔到hive/lib下
[root@master bin]# cp /usr/local/mysql-connector-java-5.1.10.jar ../lib
d) 修改配置文件hive/bin/hive-site.xml  增加mysal连接信息：
[root@master conf]# vi hive-site.xml    修改增加如下内容

[root@master conf]# cat hive-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive_cr00?createDatabaseIfNotExist=true</value>  hive_cr00表示数据库名
</property>
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
</property>
<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>admin</value>
</property>
</configuration>

e) 进入hive/bin,删除derby.log  metastore_db等信息：
[root@master bin]# ls
derby.log  ext  hive  hive-config.sh  metastore_db
[root@master bin]# rm -rf derby.log 
[root@master bin]# rm -rf metastore_db/
[root@master bin]# ls
ext  hive  hive-config.sh

f) 继续执行hive命令：
[root@master bin]# hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/usr/local/hive/conf/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201412112247_263167195.txt
hive> show databases;
OK
default
Time taken: 7.634 seconds
hive> use default;    // 使用hive默认数据库
OK
Time taken: 0.094 seconds
hive> show tables;
OK
Time taken: 1.034 seconds 
hive> create table t1(id int);   // 创建表
OK
Time taken: 0.43 seconds
hive> [root@master bin]# ls   // 此时没有在产生 derby.log  metastore_db等存储映射信息的文件和库
ext  hive  hive-config.sh

g) 进入MySQL服务，查看刚才hive创建操作生成的结果：
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema | 
| hive_cr00          | 
| mysql              | 
| test               | 
+--------------------+
4 rows in set (0.00 sec)

mysql> use hive_cr00   //  使用配置文件 hive-site.xml内配置的库 hive_cr00
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+---------------------+
| Tables_in_hive_cr00 |
+---------------------+
| BUCKETING_COLS      | 
| CDS                 | 
| COLUMNS_V2          | 
| DATABASE_PARAMS     | 
| DBS                 | 
| PARTITION_KEYS      | 
| SDS                 | 
| SD_PARAMS           | 
| SEQUENCE_TABLE      | 
| SERDES              | 
| SERDE_PARAMS        | 
| SORT_COLS           | 
| TABLE_PARAMS        | 
| TBLS                | 
+---------------------+
14 rows in set (0.00 sec)

mysql> select * from DBS    // 可以看到hive默认数据库名default，默认路径为hdfs://master:9000/user/hive/warehouse
    -> ;
+-------+-----------------------+----------------------------------------+---------+
| DB_ID | DESC                  | DB_LOCATION_URI                        | NAME    |
+-------+-----------------------+----------------------------------------+---------+
|     1 | Default Hive database | hdfs://master:9000/user/hive/warehouse | default | 
+-------+-----

mysql> select * from TBLS \G;   // 可以看到之前通过hive操作创建的表t1,
*************************** 1. row ***************************
            TBL_ID: 1
       CREATE_TIME: 1418366898
             DB_ID: 1
  LAST_ACCESS_TIME: 0
             OWNER: root
         RETENTION: 0
             SD_ID: 1
          TBL_NAME: t1
          TBL_TYPE: MANAGED_TABLE
VIEW_EXPANDED_TEXT: NULL
VIEW_ORIGINAL_TEXT: NULL

mysql> select * from COLUMNS_V2   // 可以看到之前通过hive操作创建的表t1字段 id
    -> ;
+-------+---------+-------------+-----------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|     1 | NULL    | id          | int       |           0 | 
+-------+---------+-------------+-----------+-------------+
1 row in set (0.00 sec)

2.6）通过hive将本地磁盘文件上传到hdfs中做法：

实验代码：

a) 通过hive创建单字段表，并上传本地文件到hive：

[root@master data]# cat onecolumn   // 在本地磁盘文件中的创建数据
1
2
3
4
5
// 通过hive hql将本地文件数据上传到hive中(1 实际是将本地磁盘文件数据写到hdfs中 2 通过hive将hdfs和hive表对应关系保持到MySQL中)
hive> load data local inpath '/usr/local/data/onecolumn' into table t1; 
Copying data from file:/usr/local/data
Copying file: file:/usr/local/data/onecolumn
Loading data to table default.t1
OK
Time taken: 16.166 seconds
hive> select * from t1;
OK
1
2
3
4
5
Time taken: 0.812 seconds

上述命令解释如下：
load data local inpath '/usr/local/data/onecolumn' into table t1;
load data 文件在本地(local)  inpath位置在   '可以是绝对路径也可以是相对路径'  into table t1(加载到表t1中)

结果图：

b) 通过hive创建多字段表，并上传本地文件到hive：

通过hive创建多字段表：
create table t2(id int, name string) row format delimited fields terminated by '\t';	
解释： row format delimited fields terminated by 是固定不动的，不管是多少个字段， '\t'是可变的，表示字段之间的间隔
从外部加载的时候 要知道如何划分字段。\t表示外部数据用这个方式来间隔彼此
hive> create table t2(id int, name string) row format delimited fields terminated by '\t'; // hive中创建多字段表，接受的实际数据之间用'\t'间隔
OK
Time taken: 0.462 seconds

[root@master data]# cat user // 准备本次磁盘文件数据
1       zhangsan
2       lisi
3       wangwu
4       zhaoliu

hive> load data local inpath '/usr/local/data/user' into table t2;   

hive> select * from t2;
OK
1       zhangsan
2       lisi
3       wangwu
4       zhaoliu

hive> select name from t2;    // 在查询某个/某几个列的时候 没办法全表扫描，只能通过map-reduce去做，
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201412080304_0005, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201412080304_0005
Kill Command = /usr/local/hadoop/libexec/../bin/hadoop job  -Dmapred.job.tracker=master:9001 -kill job_201412080304_0005
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2014-12-12 00:15:53,940 Stage-1 map = 0%,  reduce = 0%
2014-12-12 00:16:00,119 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.58 sec
2014-12-12 00:16:01,129 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.58 sec
2014-12-12 00:16:02,144 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 0.58 sec
MapReduce Total cumulative CPU time: 580 msec
Ended Job = job_201412080304_0005
MapReduce Jobs Launched: 
Job 0: Map: 1   Cumulative CPU: 0.58 sec   HDFS Read: 237 HDFS Write: 29 SUCCESS
Total MapReduce CPU Time Spent: 580 msec
OK
zhangsan
lisi
wangwu
zhaoliu
Time taken: 42.547 seconds