编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution.sh --name hadoop2.4 --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./make-distribution.sh --name cdh4 --tgz -Phive -Pyarn-alpha -Dhadoop.version=2.0.0-cdh4.2.0
分享到：
相关推荐
Hive-1.1.0-cdh5.5.0是Cloudera Distribution Including Apache Hadoop（CDH）的一个版本，CDH是流行的Hadoop生态系统打包和优化的发行版。 在Hive-1.1.0-cdh5.5.0中，我们关注的关键特性包括： 1. **元数据管理**...
在描述中提到的"snappy1.1.0安装包"是Snappy库的一个特定版本，1.1.0代表着该版本的发布迭代，通常每个新版本会包含错误修复、性能优化或者新功能的添加。在这个版本中，用户可以期待更稳定和高效的压缩服务。 ...
Spark 1.1.0是Apache Spark的一个早期版本，它在大数据处理领域具有重要的地位。Spark的核心设计理念是提供快速、通用以及可扩展的数据处理能力，它支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark...
4. **执行引擎**：Hive使用Hadoop MapReduce作为默认的执行引擎，但在后续版本中增加了Tez和Spark作为更高效的执行选项。 5. **Hive CLI**（Command Line Interface）：提供命令行工具进行Hive操作，"bin"目录下的...
- 或者直接从官方网站下载预编译版本：[http://alluxio.org/downloads/files/1.1.0/alluxio-1.1.0-bin.tar.gz](http://alluxio.org/downloads/files/1.1.0/alluxio-1.1.0-bin.tar.gz) **5. 解压与配置** - 将解压...
2. **分布式支持**：它可以处理大规模数据集，支持多种分布式计算框架，如Hadoop、Spark和Dask。 3. **多平台兼容**：除了Python，XGBoost还提供了R、Java、Scala、Julia等多种语言的接口，方便跨平台使用。 4. **...
在这个压缩包文件"apache-atlas-hbase-hook-1.1.0"中，包含的是Apache Atlas与HBase集成的版本，版本号为1.1.0。 Apache Atlas的核心功能包括： 1. **元数据管理**：元数据是关于数据的数据，它描述了数据的属性、...
- **Spark**：版本为1.1.0，需要进行编译。 ##### 集群网络环境 本环境搭建了一个由三台虚拟机组成的集群，节点间能够通过免密码SSH访问，各节点配置如下： 1. **主节点**：IP地址192.168.0.61，主机名为`hadoop1...
例如，设置`spark_version: "v1.1.0"`将安装Spark的1.1.0版本。灵活的版本控制使我们能够轻松地在不同版本间切换，适应不同的项目需求。 2. **安装与配置**：该角色会自动从Spark的官方GitHub仓库下载相应的源代码...
2. **编译Spark源码**： 由于官方发布的Spark版本可能已经包含了Hive的相关jar包，我们需要从源码编译。下载Spark 1.5.0-cdh5.5.1的源码，解压后在源码目录下进行编译。在编译前，确保JDK、Maven和Scala的环境变量...
4. Linkis (0.9.x或1.x)：数据计算引擎，必须安装Spark引擎。 5. DataSphereStudio (1.0.1, 1.1.0)：可选，用于工作流功能。 安装流程分为以下几个步骤： 1. **基础软件安装**：首先，确保所有依赖软件已正确安装...