在之前的
CentOS 5.4 hadoop集成 Hbase和
CentOS 5.4 hadoop集成Hive两个章节中,我们已经学习了如何在hadoop的上分别集成Hive和Hbase在本章中,我们来看一下如何在hadoop上集成hbase和hive,让hive和hbase一起工作。
第一步,将hbase-0.92.2.jar和zookeeper-3.4.5.jar拷贝到$HIVE_HOME/lib目录下,并将相关的其他版本的hbase和zookeeperd的jar包删除:
引用
# cp /opt/bigdata/hbase-0.92.2/hbase-0.92.2*.jar /opt/bigdata/hive-0.8.1/lib
# cp /opt/bigdata/zookeeper-3.4.5/zookeeper-3.4.5.jar /opt/bigdata/hive-0.8.1/lib
# rm -rf hbase-0.89.0-SNAPSHOT*.jar //删除其他版本的hbase和zookeeperd的jar包
# rm -rf zookeeper-3.3.1.jar
第二步,接着修改hive/conf下hive-site.xml文件,在文件最后面追加:
引用
# cd /opt/bigdata/hive-0.8.1/conf
# vi hive-site.xml
<property>
<name>hive.querylog.location</name>
<value>/data/hive/querylogs</value>
</property>
<property>
<name>hive.aux.jars.path</name>
<value>
file:///opt/bigdata/hive-0.8.1/lib/hive-hbase-handler-0.8.1.jar,
file:///opt/bigdata/hive-0.8.1/lib/hbase-0.92.2.jar,
file:///opt/bigdata/hive-0.8.1/lib/zookeeper-3.4.5.jar
</value>
</property>
第三步,将hbase的hbase-0.92.2.jar和hbase-site.xml文件分别拷贝到hadoop集群中的所有节点的lib目录和conf下目录:
引用
# cp /opt/bigdata/hbase-0.92.2/hbase-0.92.2.jar /opt/bigdata/hadoop-1.0.3/lib
# cp /opt/bigdata/hbase-0.92.2/conf/hbase-site.xml /opt/bigdata/hadoop-1.0.3/conf
好了,配置这些信息就要了,接下来然我们启动hive:
引用
# ./hive -hiveconf hbase.master=localhost:60000
哎呀,出错了!从上面的出错信息中我们可以看出,原来是没有创建配置文件中的/data/hive/querylogs目录,那我们接下来创建一下该目录然后再次启动hive:
引用
# mkdir -p /data/hive/querylogs
# ./hive -hiveconf hbase.master=localhost:60000
如果进入hive shell,那就表示已经将hive和hbase集成好了,如下所示:
- 大小: 133.7 KB
- 大小: 141.5 KB
分享到:
相关推荐
在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...
### Centos+Hadoop+Hive+HBase 环境搭建详解 #### 一、Centos基础环境搭建 ##### 1.1 软件准备 为了搭建一个基于Centos的操作系统,需要准备以下软件: - **VMware-workstation-full-8.0.4-744019.exe**:这是...
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
步骤包括安装CentOS7、SSH、rsync、openJDK,下载Hadoop安装包,配置环境变量,验证配置并运行MapReduce任务。 **伪分布式部署**则模拟分布式环境,所有Hadoop服务都在单个节点上以独立Java进程运行,提供了更接近...
在大数据领域,构建一个完整的生态系统是至关重要的,其中包括多个组件,如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作,提供了数据存储、处理、调度、流...
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
### hadoop2.2、hbase0.96与hive0.12的安装整合及高可靠部署 #### 一、Hadoop2.2的安装与配置 **1.1 安装前准备** - **操作系统环境**: Linux系统(推荐CentOS 6.x) - **JDK安装**: Hadoop依赖于JDK运行,需先...
通过上述步骤,我们成功地在CentOS 7环境下安装配置了Hive 2.1.1,并且配置了Hive与Hadoop之间的交互。这为后续进行大数据分析奠定了基础。接下来可以继续学习Hive的使用方法,以及如何利用Hive进行数据处理和查询。...
在CDH(Cloudera Distribution Including Apache Hadoop)5.3.1版本中,这是对Hadoop的一个企业级封装,它包含了各种Hadoop相关组件和服务,如HBase、Hive、Spark等,以及针对不同硬件和操作系统的优化。CDH的目标是...
hadoop+spark+hive Linux centos大数据集群搭建,简单易懂,从0到1搭建大数据集群
Linux系统中的安装方法(以CentOS7为例): 更新系统软件包并安装必要的软件包,如yum-utils、device-mapper-persistent-data和lvm2等。 添加Docker的yum仓库,以便下载并安装Docker。可以通过访问Docker...
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。...内附百度网盘下载地址,有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
为搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境,需要至少3台Linux机器,建议使用Centos6.4 64位操作系统,每台机器建议配置不低于4G内存和10G磁盘空间。 软件方面,需要安装jdk-7u55-linux-x64.rpm、apache-...
- **Zookeeper、Hive、HBase的分布式部署**:提供高可用性和数据仓库支持。 - **Spark、Sqoop、Mahout的分布式部署**:用于提高数据处理性能和数据分析能力。 - **Hadoop高可用部署**:确保Hadoop集群的稳定运行和...
Centos 7安装配置Hadoop生态圈CDH5版本 其中包括hadoop hbase hive spark 等组件安装
在构建大数据处理平台时,Hadoop、Hive、Zookeeper、HBase以及Kylin是关键组件,本教程将详述如何在CentOS7系统上基于Hadoop2.7.7搭建一个分布式集群,并集成Hive1.2.2、Zookeeper3.4.14、HBase1.x和Kylin2.5.0。...