`

编译tez 0.7

阅读更多

tez自己编译0.7 版本,为了测试hadoop2.7.1 是否运行顺畅,

编译:mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

编译过程一直到tez-ui模块异常编译不通过:bower ESUDO         Cannot be run with sudo,需要编辑tez-ui中的pom.xml文件,添加红色部分

<arguments>
                <argument>node_modules/bower/bin/bower</argument>
                <argument>install</argument>
                <argument> --allow-root</argument>
                <argument>--remove-unnecessary-resolutions=false</argument>
</arguments> 

编译通过:

[INFO] Building jar: /opt/work/apache-tez-0.7.0-src/docs/target/tez-docs-0.7.0-tests.jar

[INFO] ------------------------------------------------------------------------

[INFO] Reactor Summary:

[INFO] 

[INFO] tez ................................................ SUCCESS [  0.854 s]

[INFO] tez-api ............................................ SUCCESS [  7.848 s]

[INFO] tez-common ......................................... SUCCESS [  0.409 s]

[INFO] tez-runtime-internals .............................. SUCCESS [  0.741 s]

[INFO] tez-runtime-library ................................ SUCCESS [  2.213 s]

[INFO] tez-mapreduce ...................................... SUCCESS [  0.766 s]

[INFO] tez-examples ....................................... SUCCESS [  0.190 s]

[INFO] tez-dag ............................................ SUCCESS [  2.351 s]

[INFO] tez-tests .......................................... SUCCESS [  0.586 s]

[INFO] tez-ui ............................................. SUCCESS [ 49.911 s]

[INFO] tez-plugins ........................................ SUCCESS [  0.021 s]

[INFO] tez-yarn-timeline-history .......................... SUCCESS [  0.395 s]

[INFO] tez-yarn-timeline-history-with-acls ................ SUCCESS [  0.392 s]

[INFO] tez-mbeans-resource-calculator ..................... SUCCESS [  0.224 s]

[INFO] tez-tools .......................................... SUCCESS [  0.029 s]

[INFO] tez-dist ........................................... SUCCESS [  9.539 s]

[INFO] Tez ................................................ SUCCESS [  0.012 s]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESS

[INFO] ------------------------------------------------------------------------

[INFO] Total time: 01:16 min

[INFO] Finished at: 2015-07-29T16:19:20+08:00

[INFO] Final Memory: 85M/1422M

 

[INFO] ------------------------------------------------------------------------

开始替换0.5 测试

分享到:
评论

相关推荐

    CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip

    在"CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip"这个压缩包中,用户可以找到Tez 0.9.1的源码和编译后的文件,这对于开发者和系统管理员来说非常有价值。由于Apache官方网站的下载速度可能较慢,此资源被上传到...

    Apache TEZ部署手册

    在编译 Apache TEZ 之前,需要修改 pom.xml 文件,调整 Hadoop 版本,根据实际的 Hadoop 版本调整 hadoop.version 属性的值。然后,执行打包命令 `mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true`。...

    tez-0.9.1.tar.gz

    《Tez框架在CDH6.3.2中的编译与应用详解》 Tez,一个由Apache Hadoop社区开发的通用数据处理框架,旨在提供更高效、灵活和可扩展的计算模型。在Hadoop生态系统中,Tez作为YARN上的任务调度和执行引擎,可以替代...

    源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

    成功编译后,将Tez的相关jar包安装到Hadoop的类路径中,这通常涉及到将编译后的jar文件复制到Hive的lib目录下,尽管这种方法在某些情况下可能会导致问题。 7. **Hive on Tez的配置**: 在Hive的配置文件(如`hive-...

    tez-0.10.1.zip

    `tez-0.10.1.zip` 压缩包为开发者提供了编译好的 Tez 版本,包括 Tez UI,使得用户能够便捷地集成和管理 Tez 作业,进行性能监控和故障排查。对于需要处理大量数据的项目,了解和掌握 Tez 是提升数据处理效率的关键...

    apache-tez-0.9.2-bin.tar.gz

    4. **编译和安装Tez**:对于某些特定需求,可能需要从源代码编译Tez。这涉及到下载源代码,配置Hadoop版本,然后运行`mvn clean install -DskipTests`来构建。但在这个案例中,我们使用的是预编译的二进制版本,所以...

    tez-ui-0.10.1.war

    该WAR文件是Tez UI的最新0.10.1版本,设计用于解决在编译或部署过程中遇到的问题,尤其是针对"tez-ui编译不进去"的常见错误。 Tez UI的主要功能包括: 1. **任务监控**:通过Tez UI,用户可以查看任务的执行状态,...

    HDP 3.1 Tez 移植指南(CentOS 7.6).docx

    本文主要介绍了如何将 HDP 3.1.0.0 X86 版本中的 Tez 相关组件移植到 TaiShan 服务器上,包含编译以及安装包打包等部分。同时也描述了在 CentOS 7.6 环境下对 HDP 的移植过程。 知识点1:HDP 是什么? HDP...

    tez-0.8.5-hadoop-2.6.5-bin.zip

    Tez是Apache Hadoop生态系统中的一个关键组件,它是一个数据处理框架,旨在提供比MapReduce更高效、更灵活的数据处理能力。Tez 0.8.5是该框架的一个特定版本,与Hadoop 2.6.5兼容,这意味着它是为在Hadoop 2.x环境下...

    tez-0.9.2.tar.gz

    【标题】"tez-0.9.2.tar.gz"是一个包含Tez 0.9.2版本的压缩包,该版本是针对Hadoop 3.2.1平台编译的。Tez是一个由Apache软件基金会开发的开源框架,它为Hadoop生态系统提供了一个灵活且高效的处理模型,尤其在大数据...

    已编译好的github上最新的tez-ui-0.10.1

    已编译好的github上最新的tez-ui-0.10.1 比apache官网上的都要高一个版本,解决了很多bug

    tez-0.9.2-minimal.tar.gz

    【描述】描述表明,这个压缩包是开发者或社区成员为了方便用户下载和使用而编译的。用户可以期待这个版本的TEZ在功能上是最新的,并且经过了与Hadoop 3.2.1的测试,提供了一个简洁的基础环境,适用于快速部署和实验...

    apache-tez-0.8.5-bin.tar.gz

    特别是,当尝试在CDH上运行Apache Tez时,可能需要解决类路径冲突和jar包不兼容的问题,这通常涉及到调整配置文件,甚至可能需要编译自定义版本的Tez以适应CDH环境。 在实际部署和使用Tez时,以下是一些关键知识点...

    CDH6.3.2集成tez

    ### CDH6.3.2集成tez #### 概述 Cloudera Distribution Including Apache Hadoop (CDH) 是一款由 Cloudera 公司提供的企业级大数据平台,它包含了 Hadoop 生态系统中的核心组件和服务。Tez 是一个支持复杂数据处理...

    Hadoop3+Hive3+Tez编译安装

    Hadoop3+Hive3+Tez编译安装;适用视频:https://www.bilibili.com/video/BV1L54

    hive&tez.zip

    4. Executor:执行编译后的任务。 Apache Tez则是一个执行引擎,它是Hadoop生态系统中的一个模块,可以看作是MapReduce的优化版。Tez引入了DAG(有向无环图)作业模型,允许更复杂的数据处理流程,并且提高了处理...

    tez-0.10.1-SNAPSHOT.tar.gz

    标题中的"tez-0.10.1-SNAPSHOT.tar.gz"是一个开源项目Tez的特定版本(0.10.1)的源码压缩包。Tez是由Apache Hadoop社区开发的一个数据处理框架,它扩展了MapReduce模型,提高了大数据处理的效率和灵活性。SNAPSHOT...

    apache-tez源码

    Apache Tez 是一个高度可扩展和灵活的数据处理框架,它构建在 Apache Hadoop 上,用于执行复杂的、有向无环图(DAG)任务。这个框架优化了 MapReduce 模型,提供了更高效的并行计算能力,适用于大规模数据处理工作。...

Global site tag (gtag.js) - Google Analytics