hadoop与HBase版本对应关系:
Hbase Hadoop
0.92.0 1.0.0
0.92.1 1.0.0
0.92.2 1.0.3
0.94.0 1.0.2
0.94.1 1.0.3
0.94.2 1.0.3
0.94.3 1.0.4
0.94.4 1.0.4
0.94.5 1.0.4
0.94.9 1.2.0
0.95.0 1.2.0
hadoop与hive版本对应关系
hive版本0.13.1支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hive版本0.13.0支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hive版本0.12.0支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hive版本0.11.0支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hive版本0.10.0支持hadoop版本
Hadoop 0.20.x, 0.23.x.y, 1.x.y, 2.x.y
hadoop1.2+hbase0.95.0+hive0.11.0 会产生hbase+hive的不兼容,创建hive+hbase的关联表就会报pair对异常。
hadoop1.2+hbase0.94.9+hive0.10.0 没问题,解决了上个版本的不兼容问题。
hadoop-1.0.3+hive-0.9.0+hbase-0.92.0兼容
hadoop2.2+hbase0.96+hive0.12兼容(有些小问题,可能需要一些补丁)
hadoop2.2+hbase0.96+hive0.13兼容(应该兼容)
Hadoop 与hbase支持版本
S = 支持并且测试,
X = 不支持,
NT = 应该可以,但是没有测试.
HBase-0.92.x HBase-0.94.x HBase-0.96.x HBase-0.98.x[a] HBase-1.0.x[b]
Hadoop-0.20.205 S X X X X
Hadoop-0.22.x S X X X X
Hadoop-1.0.0-1.0.2[c] X X X X X
Hadoop-1.0.3+ S S S X X
Hadoop-1.1.x NT S S X X
Hadoop-0.23.x X S NT X X
Hadoop-2.0.x-alpha X NT X X X
Hadoop-2.1.0-beta X NT S X X
Hadoop-2.2.0 X NT [d] S S NT
Hadoop-2.3.x X NT S S NT
Hadoop-2.4.x X NT S S S
Hadoop-2.5.x X NT S S S
[a] Support for Hadoop 1.x is deprecated.
[b] Hadoop 1.x is NOT supported
[c] HBase requires hadoop 1.0.3 at a minimum; there is an issue where we cannot find KerberosUtil compiling against earlier versions of Hadoop.
[d] To get 0.94.x to run on hadoop 2.2.0, you need to change the hadoop 2 and protobuf versions in the pom.xml: Here is a diff with pom.xml changes:
$ svn diff pom.xml Index: pom.xml =================================================================== --- pom.xml (revision 1545157) +++ pom.xml (working copy) @@ -1034,7 +1034,7 @@ <slf4j.version>1.4.3</slf4j.version> <log4j.version>1.2.16</log4j.version> <mockito-all.version>1.8.5</mockito-all.version> - <protobuf.version>2.4.0a</protobuf.version> + <protobuf.version>2.5.0</protobuf.version> <stax-api.version>1.0.1</stax-api.version> <thrift.version>0.8.0</thrift.version> <zookeeper.version>3.4.5</zookeeper.version> @@ -2241,7 +2241,7 @@ </property> </activation> <properties> - <hadoop.version>2.0.0-alpha</hadoop.version> + <hadoop.version>2.2.0</hadoop.version> <slf4j.version>1.6.1</slf4j.version> </properties> <dependencies>
The next step is to regenerate Protobuf files and assuming that the Protobuf has been installed:
Go to the hbase root folder, using the command line;
Type the following commands:
$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/hbase.proto
$ protoc -Isrc/main/protobuf --java_out=src/main/java src/main/protobuf/ErrorHandling.proto
Building against the hadoop 2 profile by running something like the following command:
$ mvn clean install assembly:single -Dhadoop.profile=2.0 -DskipTests
Replace the Hadoop Bundled With HBase!
Because HBase depends on Hadoop, it bundles an instance of the Hadoop jar under its lib directory. The bundled jar is ONLY for use in standalone mode. In distributed mode, it is critical that the version of Hadoop that is out on your cluster match what is under HBase. Replace the hadoop jar found in the HBase lib directory with the hadoop jar you are running on your cluster to avoid version mismatch issues. Make sure you replace the jar in HBase everywhere on your cluster. Hadoop version mismatch issues have various manifestations but often all looks like its hung up.
转:http://www.aboutyun.com/blog-61-62.html
- 大小: 46.4 KB
分享到:
相关推荐
Hadoop与Hive的版本对应关系明确指出,Hive 1.2.0版本可以支持Hadoop 1.x.y和2.x.y系列的版本,同样Hive 1.1.0也支持这两个系列的Hadoop。Hive 1.0.0与Hadoop 1.x.y和2.x.y兼容,以及Hive 0.13.1、0.13.0、0.12.0、...
本文将介绍Hadoop、HBase、Hive以及ZooKeeper的版本整合兼容性,以及如何根据版本找到兼容性信息。 首先,Hadoop是一个开源的分布式存储和计算框架,它由HDFS和MapReduce两部分组成。HDFS用于存储大数据,而...
标题和描述均提到了“hadoop hbase hive 伪分布安装”,这涉及到在单台机器上模拟分布式环境来安装和配置Hadoop、HBase和Hive。以下将详细阐述这一过程中的关键步骤和相关知识点。 ### 1. Hadoop安装与配置 - **...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
不同版本的Hadoop可能会对HDFS的API或MapReduce的执行模型进行优化,因此,HBase和Hive需要与相应的Hadoop版本保持兼容。例如,Hadoop 2.x引入了YARN资源管理系统,这可能需要HBase和Hive的更新版本来适应。 对于...
在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...
标题中的“HDP3.1.5源码下载—hadoop hbase hive”指的是Hortonworks Data Platform(HDP)的3.1.5版本,它是一个全面的大数据解决方案,包含了对Hadoop、HBase和Hive等组件的源代码支持。这个版本是大数据开发者和...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
标题 "Hadoop、HBase、Hive、Pig、Zookeeper资料整理" 涵盖了大数据处理领域中几个核心的开源项目,这些项目在分布式计算、数据存储和管理方面发挥着重要作用。以下是对这些技术的详细介绍: 1. **Hadoop**:Hadoop...
例如,Hadoop 的数据块大小设置、Zookeeper 的会话超时机制、HBase 的 Region 分裂、Hive 的分区表设计、Spark 的容错机制、Kafka 的生产者消费者模型、Flink 的状态持久化和ClickHouse 的索引策略等都是常见的面试...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建 Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是大数据处理和存储的重要组件,本文档将指导用户从零开始搭建一个完整的Hadoop2.2+Zookeeper3.4.5+HBase0.96集群...
ZooKeeper 3.5.6版本提供了更稳定的集群管理和故障恢复机制,对于分布式环境中的服务发现和数据一致性至关重要,它是Hadoop生态中的关键组件,为HBase和Hive等提供协调服务。 在安装这些组件时,通常需要按照特定...
Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
### Hadoop、Hive、HBase 的安装配置详解 #### 一、Hadoop 安装配置 ##### 1. 创建用户与安装 JDK 在安装 Hadoop 前,首先需要创建一个专用的用户账户用于运行 Hadoop 相关服务,并确保 Java 环境已经正确安装。 ...