`

Hive: build from source code target to hadoop2.3.0

    博客分类:
  • Hive
 
阅读更多

 ENV: hive-0.12.0 hadoop2.3.0

1.install protobuf

a.download protobuf-2.5.0.tar.gz from https://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.5.0.tar.gz

b. tar -xzf protobuf-2.5.0.tar.gz

c. #cd protobuf-2.5.0

d. #./configure

e. #make

f.  #make check

g. #make install

 

2. install  Ant

a. download apache-ant-1.9.2-bin.tar.gz  from  http://ant.apache.org/bindownload.cgi

b. #tar -xzvf apache-ant-1.9.2-bin.tar.gz

c.  add the ANT_HOME and its bin dir to ~/.bashrc

d. # . ~/.bashrc     // or #source ~/.bashrc  

Note: If the ant already installed in your OS is not 1.9.3, you could skip this step.

 

3. build hive

a. #svn checkout http://svn.apache.org/repos/asf/hive/tags/release-0.12.0/  hive-0.12.0

b. change protobuf.version=2.4.1 to protobuf.version=2.5.0 hive-0.12.0/ivy/libraries.properties

c. #ant clean package -Dhadoop.version=2.3.0 -Dhadoop-0.23.version=2.3.0 -Dhadoop.mr.rev=23

d. when completed, the distribution dir is located in hive-0.12.0/build/dist.

 

 

Refrence

http://blog.csdn.net/chilianyi/article/details/21178587

https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-CompileHivePriorto0.13onHadoop23

分享到:
评论

相关推荐

    Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:

    hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失

    hadoop 2.3.0

    8. **Hadoop生态组件**:Hadoop 2.3.0还支持Hadoop生态系统中的其他组件,如HBase(分布式数据库)、Hive(数据仓库工具)、Pig(数据分析平台)等,这些组件与Hadoop紧密集成,提供了全面的大数据处理解决方案。...

    oozie 4.0.1 hadoop2.3.0 安装

    ### oozie 4.0.1 在 hadoop2.3.0 上的安装与配置详解 #### 一、概述 随着大数据技术的发展,越来越多的企业和机构选择使用Apache Hadoop来处理海量数据。Apache Oozie作为一款强大的工作流调度系统,能够帮助用户...

    hadoop权威指南代码(Hadoop: The Definitive Guide code)

    除了核心组件,书中还会涉及其他Hadoop生态系统的组件,例如HBase(一个分布式的、面向列的数据库)、Hive(一个数据仓库工具,用于查询和分析存储在HDFS中的大数据集)、Pig(一个用于大数据分析的平台),以及 ...

    Practical.Hive.A.Guide.to.Hadoops.Data.Warehouse.System.1484202724

    From deploying Hive on your hardware or virtual machine and setting up its initial configuration to learning how Hive interacts with Hadoop, MapReduce, Tez and other big data technologies, Practical ...

    spark-2.3.0-bin-hadoop2-without-hive

    然而,有时我们可能需要在不依赖 Hive JAR 包的情况下,使用 Spark 处理 Hive 上的数据,这就是"spark-2.3.0-bin-hadoop2-without-hive"这个软件包的目的。 Spark 2.3.0 是一个强大的分布式计算框架,其性能和灵活...

    hive-site.xml

    hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+hadoop配置文件hive+...

    hadoop-hue-hive:Vagrant+Chef 食谱能够在 ubuntu 上安装 hadoop、hue 和 hive

    hadoop-hue-hive-cookbook TODO:在此处输入食谱说明。 支持的平台 TODO:列出您支持的平台。 属性 钥匙 类型 描述 默认 ['hadoop-hue-hive']['培根'] 布尔值 是否包括培根 真的 用法 hadoop-hue-hive::default ...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...

    spark-2.3.0-bin-hadoop277-without-hive.tgz

    spark2.3.0 without hive 编译版本,用于Hive on Spark 环境搭建 ./dev/make-distribution.sh --name "hadoop277-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided,orc-provided" -...

    apache-hive-2.3.0-bin.tar.gz

    Apache Hive 是一个基于Hadoop的数据仓库工具,它允许用户通过SQL-like语言(称为HQL,Hive Query Language)对大规模数据集进行分析和查询。Hive最初由Facebook开发,后来成为Apache软件基金会的一个顶级项目,广泛...

    hadoop&spark:Hive是一个基于Hadoop的数据仓库平台.zip

    hadoop&spark:Hive是一个基于Hadoop的数据仓库平台.zip

    大数据应用竞赛题目:通信业数字转型下的Hadoop、Hive与Pyecharts实战

    比赛项目涉及大数据平台搭建、运维与数据分析,重点使用了Hadoop和Hive等开源工具对用户行为数据进行了深度挖掘,并运用ECharts和pyecharts制作数据可视化的图表来辅助决策。 适合人群:大数据专业学生、通信行业...

    编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar

    spark-hive_2.11-2.3.0 spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0....

    Hadoop_Data Processing and Modelling-Packt Publishing(2016).pdf

    Explore the power of Hadoop ecosystem to be able to tackle real-world scenarios and build. This course covers optimizations and advanced features of MapReduce, Pig, and Hive. Along with Hadoop 2.x ...

    【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

    ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后,我又对yarn...

    ubuntu下配置hadoop和hive

    【Ubuntu下配置Hadoop和Hive】的详细步骤 配置Hadoop和Hive在Ubuntu系统上是一项关键的任务,尤其对于那些需要处理大规模数据的开发者和数据分析师来说。在这个过程中,你需要确保你的系统满足必要的先决条件,并...

    Mac 搭建 Hadoop和hive环境.pdf

    ### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...

Global site tag (gtag.js) - Google Analytics