`
gaojingsong
  • 浏览: 1212249 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

(三)大数据环境准备:Hive安装步骤(依赖Hadoop)

阅读更多
1、解压缩文件[root@hadoop0 opt]# tar -zxvf hive-0.9.0.tar.gz
2、改名字[root@hadoop0 opt]# mv hive-0.9.0 hive
3、配置环境变量,修改etc/profile全局变量文件/opt/hive/bin
JAVA_HOME=/opt/jdk1.6.0_24
HADOOP_HOME=/opt/hadoop
HBASE_HOME=/opt/hbase
HIVE_HOME=/opt/hive
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$PATH
export JAVA_HOME  HADOOP_HOME HBASE_HOME  HIVE_HOME PATH
[root@hadoop0 bin]# su -
4、测试运行,看看是否安装成功[root@hadoop0 ~]# hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/opt/hive/lib/hive-common-0.9.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_root_201509250619_148272494.txt
hive> show tables;
FAILED: Error in metadata: MetaException(message:Got exception: java.net.ConnectException Call to hadoop0/192.168.46.129:9000 failed on connection exception: java.net.ConnectException: Connection refused)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
--解决方案:hive依赖于hdfs存储数据,所以确保hadoop启动了
[root@hadoop0 ~]# start-all.sh
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /opt/hadoop/libexec/../logs/hadoop-root-namenode-hadoop0.out
localhost: starting datanode, logging to /opt/hadoop/libexec/../logs/hadoop-root-datanode-hadoop0.out
localhost: starting secondarynamenode, logging to /opt/hadoop/libexec/../logs/hadoop-root-secondarynamenode-hadoop0.out
starting jobtracker, logging to /opt/hadoop/libexec/../logs/hadoop-root-jobtracker-hadoop0.out
localhost: starting tasktracker, logging to /opt/hadoop/libexec/../logs/hadoop-root-tasktracker-hadoop0.out
--至此最简单的hive环境配置完毕

5、开始创建数据表hive> show tables;
OK
Time taken: 5.619 seconds
hive> create table stu(name String,age int);
FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteException
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/hive/warehouse/stu.
Name node is in safe mode.
The reported blocks 18 has reached the threshold 0.9990 of total blocks 17. Safe mode will be turned off automatically in 15 seconds.
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2204)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2178)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:857)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:578)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1393)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1389)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1387)
)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
--解决方案:由于缺少参数配置,手工建立目录,解决这个问题
[root@hadoop0 ~]# mkdir -p /user/hive/warehouse/stu
hive> create table stu(name String,age int);
OK
Time taken: 0.229 seconds
6、开始插入数据,Hive不支持Insert语句hive> insert into stu values('MengMeng',24);
FAILED: Parse Error: line 1:12 mismatched input 'stu' expecting TABLE near 'into' in insert clause
hive> show tables;
OK
stu
Time taken: 0.078 seconds
hive> desc stu;
OK
name    string
age     int
Time taken: 0.255 seconds


--解决方案:hive不支持上述操作,可以使用load加载
hive> LOAD DATA LOCAL INPATH '/opt/stu.txt' OVERWRITE INTO TABLE stu;
Copying data from file:/opt/stu.txt
Copying file: file:/opt/stu.txt
Loading data to table default.stu
Deleted hdfs://hadoop0:9000/user/hive/warehouse/stu
OK
Time taken: 0.643 seconds
7、查询刚才导入的语句hive> select name ,age from stu;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_201509250620_0001, Tracking URL = http://hadoop0:50030/jobdetails.jsp?jobid=job_201509250620_0001
Kill Command = /opt/hadoop/libexec/../bin/hadoop job  -Dmapred.job.tracker=hadoop0:9001 -kill job_201509250620_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2015-09-25 06:37:55,535 Stage-1 map = 0%,  reduce = 0%
2015-09-25 06:37:58,565 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.59 sec
2015-09-25 06:37:59,595 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 0.59 sec
2015-09-25 06:38:00,647 Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 0.59 sec
MapReduce Total cumulative CPU time: 590 msec
Ended Job = job_201509250620_0001
MapReduce Jobs Launched:
Job 0: Map: 1   Cumulative CPU: 0.59 sec   HDFS Read: 221 HDFS Write: 22 SUCCESS
Total MapReduce CPU Time Spent: 590 msec
OK
--查询结构显示出来了
JieJie 26       NULL
MM 24   NULL
Time taken: 12.812 seconds
疑问:为何有个null值呢,切待下次研究
分享到:
评论

相关推荐

    Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件(包含官方版本中缺少的cmd文件)hive)

    3. **安装Java**: Hive依赖于Java运行环境,确保你的系统已经安装了Java 8或更高版本,并且`JAVA_HOME`环境变量设置正确。 4. **配置Hive配置文件**: 修改`conf/hive-site.xml`,设置Hadoop的相关路径,例如HDFS的...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    总的来说,搭建Hadoop、HBase、Spark和Hive集群涉及多个步骤,包括安装、配置、启动以及验证。整个过程需要对大数据处理原理有深入理解,并熟悉Linux系统的操作。完成后,这个集群可以处理大量数据,支持实时查询和...

    大数据环境一键安装脚本.zip

    首先,"一键安装脚本"通常包括多个步骤,如系统初始化、依赖库安装、配置文件设定、服务启动等。在Linux系统中,这些脚本可能以bash shell的形式存在,通过执行一系列命令行操作来完成整个流程。 1. **系统初始化**...

    大数据编程林子雨实验hive安装包prog-hive-1st-ed-data.zip

    1. **环境准备**:确保已经安装了Java运行环境,因为Hive依赖于Java。同时,需要安装Hadoop,因为Hive运行在Hadoop集群上,负责数据的存储和计算。 2. **下载Hive**:从Apache官网获取最新稳定版的Hive安装包,解压...

    大数据编程林子雨实验hive安装包apache-hive-3.1.2-bin

    1. **环境准备**:确保已安装Java开发环境(JDK)且版本符合Hive的要求,同时配置好Hadoop环境,因为Hive依赖于Hadoop进行数据存储和计算。 2. **配置Hive**:修改`conf/hive-site.xml`配置文件,设置Hive的 ...

    hive安装资料手册.rar

    2. **hive安装手册.md**:这是安装Hive的具体步骤和指南,可能包括了系统需求、依赖库的安装、Hive的下载与编译、配置文件的修改、Hive服务的启动与测试等内容。对于初次接触Hive的用户,这是一个非常实用的参考资料...

    Hadoop和Hive的安装配置

    通过以上步骤,你就可以成功安装并配置Hadoop和Hive,从而在大数据环境中进行高效的数据存储和分析了。但实际操作过程中可能会遇到各种问题,所以要有耐心和解决复杂问题的能力。不断学习和实践,才能更好地掌握这两...

    Esri大数据平台搭建指南之Hive1

    Esri大数据平台搭建指南之Hive1主要涵盖了如何在Esri的大数据环境中构建和使用Apache Hive,这是一个基于Hadoop的数据仓库工具,专为大规模数据集提供了数据查询和分析能力。以下是对该指南主要内容的详细解释: 1....

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...

    hadoop2.2 下hive的安装

    在本文中,我们将深入探讨如何在Hadoop 2.2环境下安装Hive。Hive是Apache软件基金会开发的一个数据仓库工具,它允许用户通过SQL-like查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大数据集。在...

    windows下安装hadoop的依赖库

    在Windows环境下搭建Hadoop环境,一个关键步骤是安装Hadoop的依赖库。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模数据。在Windows上安装Hadoop时,需要确保系统具备所有必要的组件和配置,以便正确...

    windows下安装hadoop的依赖库winutils

    在Windows环境下搭建Hadoop分布式框架时,一个必不可少的步骤就是安装Hadoop的依赖库——WinUtils。这个库是Hadoop在Windows系统上运行所必需的,因为它提供了与Linux系统中`hadoop`命令类似的功能。本文将详细介绍...

    hadoop+hive环境安装包.rar

    在大数据处理领域,Hadoop和Hive是两个非常重要的组件。Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据,而...通过上述安装步骤和配置,你可以搭建起一个基本的Hadoop-Hive环境,开始你的大数据探索之旅。

    hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

    ### hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结 #### 一、Hadoop2.2的安装 **问题导读:** 1. Hadoop的安装需要安装哪些软件? 2. Hadoop与HBase整合需要注意哪些问题? 3. Hive与HBase的...

    巴豆大数据团队讲师课件Hive.pdf

    由于Hive主要用于数据仓库的需求,Hive表本身不存储数据,它依赖于Hadoop的HDFS存储数据,因此可以处理TB甚至PB级别的数据。Hive表是一个纯逻辑表,即只有表的元数据定义,而数据实际存储在HDFS上的目录/文件中。...

    大数据工程师部署.docx

    - **步骤一:部署前准备工作**:这一步通常包括硬件规划、网络配置、操作系统安装以及Java环境的设置。 - **步骤二:Zookeeper安装**:Zookeeper是一个分布式协调服务,它为Hadoop集群提供一致性服务,用于管理...

    第6章 Hive组件安装配置.pptx

    1. **环境准备**:确保已经安装并配置好Hadoop环境,包括HDFS、YARN等。 2. **下载Hive**:从Apache官网获取最新版本的Hive,并解压缩到合适的位置。 3. **配置Hive**:修改`hive-site.xml`配置文件,设置Metastore...

    hive如何去安装与配置

    2. **Hadoop安装**:Hive是建立在Hadoop基础之上的,因此需要先安装并配置好Hadoop环境,包括HDFS和YARN等组件。 3. **其他依赖**:如HBase、Tez或Spark等,根据你的需求选择安装。 ### 二、下载与解压Hive 访问...

    尚硅谷大数据视频_Hive视频教程

    3. **安装与配置**:详述在各种操作系统环境下安装Hive和其依赖的Hadoop组件的步骤,以及配置Hive环境变量和配置文件。 4. **HQL(Hive Query Language)**:学习Hive的SQL方言,包括DML(数据操纵语言)、DDL...

Global site tag (gtag.js) - Google Analytics