`

编译tez 0.7

阅读更多

tez自己编译0.7 版本,为了测试hadoop2.7.1 是否运行顺畅,

编译:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

编译过程一直到tez-ui模块异常编译不通过:bower ESUDO         Cannot be run with sudo,需要编辑tez-ui中的pom.xml文件,添加红色部分

<arguments>
                <argument>node_modules/bower/bin/bower</argument>
                <argument>install</argument>
                <argument> --allow-root</argument>
                <argument>--remove-unnecessary-resolutions=false</argument>
</arguments> 

编译通过:

[INFO] Building jar: /opt/work/apache-tez-0.7.0-src/docs/target/tez-docs-0.7.0-tests.jar

[INFO] ------------------------------------------------------------------------

[INFO] Reactor Summary:

[INFO] 

[INFO] tez ................................................ SUCCESS [  0.854 s]

[INFO] tez-api ............................................ SUCCESS [  7.848 s]

[INFO] tez-common ......................................... SUCCESS [  0.409 s]

[INFO] tez-runtime-internals .............................. SUCCESS [  0.741 s]

[INFO] tez-runtime-library ................................ SUCCESS [  2.213 s]

[INFO] tez-mapreduce ...................................... SUCCESS [  0.766 s]

[INFO] tez-examples ....................................... SUCCESS [  0.190 s]

[INFO] tez-dag ............................................ SUCCESS [  2.351 s]

[INFO] tez-tests .......................................... SUCCESS [  0.586 s]

[INFO] tez-ui ............................................. SUCCESS [ 49.911 s]

[INFO] tez-plugins ........................................ SUCCESS [  0.021 s]

[INFO] tez-yarn-timeline-history .......................... SUCCESS [  0.395 s]

[INFO] tez-yarn-timeline-history-with-acls ................ SUCCESS [  0.392 s]

[INFO] tez-mbeans-resource-calculator ..................... SUCCESS [  0.224 s]

[INFO] tez-tools .......................................... SUCCESS [  0.029 s]

[INFO] tez-dist ........................................... SUCCESS [  9.539 s]

[INFO] Tez ................................................ SUCCESS [  0.012 s]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 01:16 min

[INFO] Finished at: 2015-07-29T16:19:20+08:00

[INFO] Final Memory: 85M/1422M

 

[INFO] ------------------------------------------------------------------------

开始替换0.5 测试

分享到:
评论

相关推荐

    CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip

    在"CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip"这个压缩包中,用户可以找到Tez 0.9.1的源码和编译后的文件,这对于开发者和系统管理员来说非常有价值。由于Apache官方网站的下载速度可能较慢,此资源被上传到...

    Apache TEZ部署手册

    在编译 Apache TEZ 之前,需要修改 pom.xml 文件,调整 Hadoop 版本,根据实际的 Hadoop 版本调整 hadoop.version 属性的值。然后,执行打包命令 `mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true`。...

    tez-0.9.1.tar.gz

    《Tez框架在CDH6.3.2中的编译与应用详解》 Tez,一个由Apache Hadoop社区开发的通用数据处理框架,旨在提供更高效、灵活和可扩展的计算模型。在Hadoop生态系统中,Tez作为YARN上的任务调度和执行引擎,可以替代...

    源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

    成功编译后,将Tez的相关jar包安装到Hadoop的类路径中,这通常涉及到将编译后的jar文件复制到Hive的lib目录下,尽管这种方法在某些情况下可能会导致问题。 7. **Hive on Tez的配置**: 在Hive的配置文件(如`hive-...

    apache-tez-0.9.2-bin.tar.gz

    4. **编译和安装Tez**:对于某些特定需求,可能需要从源代码编译Tez。这涉及到下载源代码,配置Hadoop版本,然后运行`mvn clean install -DskipTests`来构建。但在这个案例中,我们使用的是预编译的二进制版本,所以...

    tez-0.10.1.zip

    `tez-0.10.1.zip` 压缩包为开发者提供了编译好的 Tez 版本,包括 Tez UI,使得用户能够便捷地集成和管理 Tez 作业,进行性能监控和故障排查。对于需要处理大量数据的项目,了解和掌握 Tez 是提升数据处理效率的关键...

    tez-ui-0.10.1.war

    该WAR文件是Tez UI的最新0.10.1版本,设计用于解决在编译或部署过程中遇到的问题,尤其是针对"tez-ui编译不进去"的常见错误。 Tez UI的主要功能包括: 1. **任务监控**:通过Tez UI,用户可以查看任务的执行状态,...

    已编译好的github上最新的tez-ui-0.10.1

    已编译好的github上最新的tez-ui-0.10.1 比apache官网上的都要高一个版本,解决了很多bug

    CDH6.3.2集成tez

    ### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台,它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...

    HDP 3.1 Tez 移植指南(CentOS 7.6).docx

    本文主要介绍了如何将 HDP 3.1.0.0 X86 版本中的 Tez 相关组件移植到 TaiShan 服务器上,包含编译以及安装包打包等部分。同时也描述了在 CentOS 7.6 环境下对 HDP 的移植过程。 知识点1:HDP 是什么? HDP...

    tez-0.8.5-hadoop-2.6.5-bin.zip

    Tez是Apache Hadoop生态系统中的一个关键组件,它是一个数据处理框架,旨在提供比MapReduce更高效、更灵活的数据处理能力。Tez 0.8.5是该框架的一个特定版本,与Hadoop 2.6.5兼容,这意味着它是为在Hadoop 2.x环境下...

    tez-0.9.2.tar.gz

    【标题】"tez-0.9.2.tar.gz"是一个包含Tez 0.9.2版本的压缩包,该版本是针对Hadoop 3.2.1平台编译的。Tez是一个由Apache软件基金会开发的开源框架,它为Hadoop生态系统提供了一个灵活且高效的处理模型,尤其在大数据...

    tez-0.9.2-minimal.tar.gz

    【描述】描述表明,这个压缩包是开发者或社区成员为了方便用户下载和使用而编译的。用户可以期待这个版本的TEZ在功能上是最新的,并且经过了与Hadoop 3.2.1的测试,提供了一个简洁的基础环境,适用于快速部署和实验...

    apache-tez-0.8.5-bin.tar.gz

    特别是,当尝试在CDH上运行Apache Tez时,可能需要解决类路径冲突和jar包不兼容的问题,这通常涉及到调整配置文件,甚至可能需要编译自定义版本的Tez以适应CDH环境。 在实际部署和使用Tez时,以下是一些关键知识点...

    Hadoop3+Hive3+Tez编译安装

    Hadoop3+Hive3+Tez编译安装;适用视频:https://www.bilibili.com/video/BV1L54

    apache-tez源码

    Apache Tez 是一个高度可扩展和灵活的数据处理框架,它构建在 Apache Hadoop 上,用于执行复杂的、有向无环图(DAG)任务。这个框架优化了 MapReduce 模型,提供了更高效的并行计算能力,适用于大规模数据处理工作。...

    hive&tez.zip

    4. Executor:执行编译后的任务。 Apache Tez则是一个执行引擎,它是Hadoop生态系统中的一个模块,可以看作是MapReduce的优化版。Tez引入了DAG(有向无环图)作业模型,允许更复杂的数据处理流程,并且提高了处理...

    tez-0.10.1-SNAPSHOT.tar.gz

    标题中的"tez-0.10.1-SNAPSHOT.tar.gz"是一个开源项目Tez的特定版本(0.10.1)的源码压缩包。Tez是由Apache Hadoop社区开发的一个数据处理框架,它扩展了MapReduce模型,提高了大数据处理的效率和灵活性。SNAPSHOT...

Global site tag (gtag.js) - Google Analytics