`
qindongliang1922
  • 浏览: 2188396 次
  • 性别: Icon_minigender_1
  • 来自: 北京
博客专栏
7265517b-f87e-3137-b62c-5c6e30e26109
证道Lucene4
浏览量:117658
097be4a0-491e-39c0-89ff-3456fadf8262
证道Hadoop
浏览量:126062
41c37529-f6d8-32e4-8563-3b42b2712a50
证道shell编程
浏览量:60010
43832365-bc15-3f5d-b3cd-c9161722a70c
ELK修真
浏览量:71396
社区版块
存档分类
最新评论

Apache Tez0.7编译笔记

阅读更多




目前最新的Tez版本是0.8,但还不是稳定版,所以大家还是先下载0.7用吧
下载地址: wget http://archive.apache.org/dist/tez/0.7.0/apache-tez-0.7.0-src.tar.gz


由于编译Tez-UI模块,需要使用nodejs,所以建议还是
提前安装nodejs 和npm工具,安装方式,可以下载源码安装
也可以yum安装,安装步骤:

(1)安装nodejs镜像
sudo curl --silent --location https://rpm.nodesource.com/setup | sudo bash -
(2)yum安装nodejs,前提是你已经安装了
yum -y install gcc-c++ make
yum -y install nodejs

(3)查看版本:
node -v
npm -v
没有问题即可

(4)解压tez到某个目录,然后进入根目录,修改pom.xml文件:
升级frontend版本为0.0.23

<plugin>
          <groupId>com.github.eirslett</groupId>
          <artifactId>frontend-maven-plugin</artifactId>
          <version>0.0.23</version>
        </plugin>


进入tez ui的模块下,修改pom.xml文件,在
grunt build 和 Bower install下面的configuration下面增加下面一个段配置,允许以root权限执行构建

<arguments>
                <argument>node_modules/bower/bin/bower</argument>
                <argument>install</argument>
                <argument> --allow-root</argument>
                <argument>--remove-unnecessary-resolutions=false</argument>
</arguments>


然后执行命令:mkdir -p  apache-tez-0.7.0-src/tez-ui/src/main/webapp/dist创建一个
dist目录,否则最后,会报一个dist目录不存在的错误,导致编译失败

另外需要注意的是,在tez-ui编译的时候,需要大量下载npm nodejs相关的包,如果没有下载可以执行
npm install xxx 进行下载安装,
除以之外还有一个错误,就是有些依赖模块,会报一个 error use strict model 异常,导致tez-ui无法正常
编译通过,解决办法,下载低版本的依赖包,即可,目前发现两个依赖出现此种问题:

解决办法:先卸载原来版本的,然后重新安装低版本,如果提示权限不够,就在命令前面加上sudo
npm uninstall qs
npm uninstall hawk
npm install qs@5.2
npm  install hawk@0.6.1

博客地址:http://qindongliang.iteye.com/

最后看以下,编译过程中,nodejs依赖的所有包:
执行命令:ll node_modules/ | gawk '{print $9}'

abbrev
ansicolors
ansi-regex
ansistyles
aproba
archy
argparse
asn1
assert-plus
async
async-some
aws-sign2
balanced-match
bl
boom
brace-expansion
buffers
caseless
chainsaw
chownr
cli-color
cmd-shim
columnify
combined-stream
concat-map
config-chain
core-util-is
cryptiles
dashdash
debuglog
delayed-stream
dezalgo
ecc-jsbn
editor
end-of-stream
esprima
extsprintf
forever-agent
form-data
fstream
fstream-npm
fs-vacuum
fs-write-stream-atomic
glob
graceful-fs
has-unicode
hawk
hoek
hosted-git-info
http-signature
iferr
imurmurhash
inflight
inherits
ini
init-package-json
isarray
jodid25519
jsbn
json-schema
json-stringify-safe
jsprim
js-yaml
lockfile
lodash
lodash._baseindexof
lodash._baseuniq
lodash._bindcallback
lodash._cacheindexof
lodash.clonedeep
lodash._createcache
lodash._getnative
lodash.isarguments
lodash.isarray
lodash.isfunction
lodash.isobject
lodash.keys
lodash.now
lodash.restparam
lodash.union
lodash.uniq
lodash.without
mime-db
mime-types
minimist
mkdirp
mute-stream
node-gyp
node-uuid
nopt
normalize-git-url
normalize-package-data
npm-cache-filename
npm-install-checks
npmlog
npm-package-arg
npm-registry-client
npm-user-validate
oauth-sign
once
opener
osenv
osx-release
path-is-inside
process-nextick-args
qs
read
readable-stream
read-cmd-shim
readdir-scoped-modules
read-installed
readline2
read-package-json
read-package-tree
realize-package-specifier
request
retry
rimraf
rx
semver
sha
sigmund
slide
sntp
sorted-object
sprintf-js
sshpk
string_decoder
stringstream
strip-ansi
tar
text-table
through
tough-cookie
traverse
tunnel-agent
tweetnacl
uid-number
umask
unique-filename
unpipe
user-home
util-deprecate
uuid
validate-npm-package-license
validate-npm-package-name
verror
which
win-release
wordwrap
wrappy
write-file-atomic
xdg-basedir
xtend



(5)最后在tez根目录下输入如下命令进行构建:
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
大概10多分钟即可编译成功:





成功后,在tez的根目录下创建tezlib文件夹:
执行输入命令,拷贝所有tez相关的jar到tezlib下面:
find . -name "*jar" -print | cp -a `xargs` tezlib/



扫码关注微信公众号:我是攻城师(woshigcs),我们一起学习,进步和交流!(woshigcs)
本公众号的内容是有关搜索和大数据技术和互联网等方面内容的分享,也是一个温馨的技术互动交流的小家园,有什么问题随时都可以留言,欢迎大家来访!

  • 大小: 34.2 KB
  • 大小: 36.7 KB
0
0
分享到:
评论

相关推荐

    Apache TEZ部署手册

    在编译 Apache TEZ 之前,需要修改 pom.xml 文件,调整 Hadoop 版本,根据实际的 Hadoop 版本调整 hadoop.version 属性的值。然后,执行打包命令 `mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true`。...

    apache-tez-0.9.2-bin.tar.gz

    Apache Tez 是一个高度可扩展和灵活的数据处理框架,它为Apache Hadoop生态系统提供了一个高效、低延迟的处理引擎。Tez 建立在Hadoop MapReduce之上,旨在优化大规模数据处理作业的性能,特别是在复杂的计算任务和...

    apache-tez-0.8.5-bin.tar.gz

    特别是,当尝试在CDH上运行Apache Tez时,可能需要解决类路径冲突和jar包不兼容的问题,这通常涉及到调整配置文件,甚至可能需要编译自定义版本的Tez以适应CDH环境。 在实际部署和使用Tez时,以下是一些关键知识点...

    源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    tez:Apache Tez

    Apache Tez是一个通用的数据处理管道引擎,被设想为用于更高抽象的低级引擎,例如Apache Hadoop Map-Reduce,Apache Pig,Apache Hive等。 从本质上讲,tez非常简单,只有两个组成部分: 数据处理流水线引擎可以...

    apache-tez源码

    Apache Tez 是一个高度可扩展和灵活的数据处理框架,它构建在 Apache Hadoop 上,用于执行复杂的、有向无环图(DAG)任务。这个框架优化了 MapReduce 模型,提供了更高效的并行计算能力,适用于大规模数据处理工作。...

    源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    Bikas Saha:Apache Tez-A框架模型和构建Hadoop数据处理应用程序

    该文档来自于Apache Hadoop和Tez项目PMC成员Bikas Saha,在2014中国大数据技术大会大数据技术分论坛的演讲“Apache Tez-A Framework to Model and Build Hadoop Data Processing Applications”。

    CDH6.0.1基于centos7编译成功的tez(0.9.1)文件.zip

    Tez是Apache Hadoop生态系统中的一个关键组件,它是一个任务执行框架,专为处理大规模数据集而设计。在CDH(Cloudera Distribution Including Apache Hadoop)6.0.1版本中,Tez 0.9.1是支持高效、低延迟数据处理的...

    tez-ui-0.10.1.war

    【tez-ui-0.10.1.war】是一个重要的组件,它是Apache Tez用户界面的WAR(Web ARchive)文件,用于提供对Tez执行引擎的可视化监控和管理。Apache Tez是一个高性能、灵活的数据处理框架,它被广泛应用于Hadoop生态系统...

    Apache Tez

    Apache Tez 是一个开源框架,主要作用是构建和执行数据处理应用程序,特别强调了数据流驱动的处理运行时。Tez 旨在优化基于YARN(Yet Another Resource Negotiator)的Hadoop环境中的数据处理,通过对数据执行过程的...

    docker-hive-on-tez:在 Tez 上运行的 Apache Hive 的 Docker 镜像

    在 Tez 上运行 Apache Hive 的 Docker 镜像此存储库包含一个 docker 文件,用于构建 docker 映像以在 Tez 上运行 Apache Hive。 这个 docker 文件依赖于我的其他包含和 基础镜像的存储库。当前版本Apache Hive(主干...

    apache-tez-0.9.0-bin.tar.gz

    Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、...

    apache-tez-0.8.3-src.tar.gz

    Tez是Apache开源的支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,即Map被拆分成Input、Processor、Sort、Merge和Output, Reduce被拆分成Input、Shuffle、Sort、...

    apache-tez-0.9.1-bin.tar.gz

    用Hive直接编写MR程序,假设有四个有依赖关系的MR作业,上图中,绿色是Reduce Task,云状表示写屏蔽,...Tez可以将多个有依赖的作业转换为一个作业,这样只需写一次HDFS,且中间节点较少,从而大大提升作业的计算性能

    tez-0.8.5-hadoop-2.6.5-bin.zip

    Tez是Apache Hadoop生态系统中的一个关键组件,它是一个数据处理框架,旨在提供比MapReduce更高效、更灵活的数据处理能力。Tez 0.8.5是该框架的一个特定版本,与Hadoop 2.6.5兼容,这意味着它是为在Hadoop 2.x环境下...

    tez-0.9.1.tar.gz

    Tez,一个由Apache Hadoop社区开发的通用数据处理框架,旨在提供更高效、灵活和可扩展的计算模型。在Hadoop生态系统中,Tez作为YARN上的任务调度和执行引擎,可以替代MapReduce进行更复杂的数据处理任务。这里我们将...

    cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

    从Apache官方网站下载Tez的源代码(例如,0.9.1版本)。解压缩后,进入源码目录准备进行编译。 4. **Maven的安装与配置**: 安装Maven 3.x或更高版本,确保其环境变量配置正确。同时,修改Maven的`settings.xml`...

    apache-tez-0.9.1.zip编译后的CDH5.12.1

    CDH5.12.1 hadoop版本2.6.0 可用,hive-1.1.0 tez-0.9.1,同版本的小伙伴可以直接使用,复制文件里面的tez-dist/target下的tez-0.9.1.tar.gz即可

    hive&tez.zip

    Apache Hive和Tez是大数据处理领域中的两个重要组件,它们在Hadoop生态系统中扮演着关键角色。本篇文章将深入探讨这两个工具以及它们如何协同工作。 Hive是基于Hadoop的数据仓库工具,它允许用户通过SQL(称为HQL,...

Global site tag (gtag.js) - Google Analytics