tez ui 安装测试
标签(空格分隔): 未分类
环境:hadoop-2.7.1,tez-0.7.0,tomcat 7
- 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中
-
修改tez-ui的war解压后的文件scripts/configs.js文件
App.setConfigs({ /* Environment configurations */ envDefaults: { version: "0.7.0", /* * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change * the following value for pointing to a different domain. */ timelineBaseUrl: 'http://10.162.209.29:8188', /* * By default RM web interface is expected to be at http://localhost:8088, uncomment and change * the following value to point to a different domain. */ RMWebUrl: 'http://10.162.209.29:8088', }
timelineBaseUrl的值为yarn中的timeline地址
RMWebUrl:的值为resourcemanager的地址 -
配置yarn的timeline服务:修改yarn-site.xml文件,添加如下配置
<!-- conf timeline server --> <property> <name>yarn.timeline-service.enabled</name> <value>true</value> </property> <property> <name>yarn.timeline-service.hostname</name> <value>10.162.209.29</value> </property> <property> <name>yarn.timeline-service.http-cross-origin.enabled</name> <value>true</value> </property> <property> <name> yarn.resourcemanager.system-metrics-publisher.enabled</name> <value>true</value> </property>
修改后的yarn-site.xml文件同步到所有hadoop节点中,并重启yarn服务
[hadoop@gateway]$ hadoop-2.7.1/sbin/stop-yarn.sh #停止 [hadoop@gateway]$ hadoop-2.7.1/sbin/start-yarn.sh #启动 [hadoop@gateway]$ hadoop-2.7.1/sbin/yarn-daemon.sh start historyserver #启动timeline服务
- 从浏览器访问10.162.209.29:8188 地址可以看到和8088端口一样的ui界面即可
- 修改tez-site.xml文件
xml
<property>
<name>tez.history.logging.service.class</name>
<value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
<property>
<name>tez.allow.disabled.timeline-domains</name>
<value>true</value>
</property>
添加如上配置项:此处添加的tez-site.xml文件位于hive的conf下 - 运行一个hive的tez查询可以看到如下界面:
sql
hive> select x1.application_id,x2.application_id,x1.maxnum1,x2.minnum1 from (
> select application_id,time_scope, max(num1) as maxnum1 from metric_data_entity group by application_id,time_scope limit 10) x1
> join (
> select application_id,time_scope, min(num1) as minnum1 from metric_data_entity group by application_id,time_scope limit 10
> ) x2
> on x1.application_id=x2.application_id; - 运行后的tez-UI:
相关推荐
6. **测试与验证**:运行一个Hive查询并检查Tez UI是否能正确显示其执行情况。 通过以上步骤,可以有效地解决Tez UI编译和部署的问题,提升Hadoop和Tez环境的管理和监控能力。尤其对于大数据开发团队,掌握如何使用...
已编译好的github上最新的tez-ui-0.10.1 比apache官网上的都要高一个版本,解决了很多bug
`tez-0.10.1.zip` 压缩包为开发者提供了编译好的 Tez 版本,包括 Tez UI,使得用户能够便捷地集成和管理 Tez 作业,进行性能监控和故障排查。对于需要处理大量数据的项目,了解和掌握 Tez 是提升数据处理效率的关键...
5. **测试安装**:安装完成后,运行`tez versions`命令检查Tez是否已正确安装并找到相应的版本信息。 6. **运行示例**:可以尝试运行Tez自带的示例,如WordCount,以验证安装是否成功。 Tez的性能提升主要体现在...
如果使用 HIVE,请考虑版本匹配,目前经过测试 TEZ 0.7.0 和 HIVE 1.2 可以正常工作。 方法一:修改 mapred-site.xml 文件,将 mapreduce.framework.name 从 yarn 修改为 yarn-tez。这样做的缺点是,所有任务都由 ...
使用BigFrame比较Hive-MR和Hive-Tez的性能Hadoop 2.6.0 + Hive 1.2.0 + Tez 0.7.0 + Tomact 8.0 + Tez UI 0.7.0 + MySQL + BigFrame + Datahooks教程 系统必备本教程基于Ubuntu 14.04LTS 64位版本。 添加一个名为...
Hadoop3+Hive3+Tez编译安装;适用视频:https://www.bilibili.com/video/BV1L54
然而,在实际操作中,我们经常会遇到一些常见的错误,特别是当Hive运行在Tez引擎上时。这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write ...
值得注意的是,这个包不包含 Tez UI,即用户界面,可能会影响到用户对作业的可视化监控和调试。同时,发布者并未进行详细验证,但承诺会提供后续的测试结果。 【标签】"HIVE Tez CDH6.2" 指出,Tez 主要与 HIVE ...
成功编译后,将Tez的相关jar包安装到Hadoop的类路径中,这通常涉及到将编译后的jar文件复制到Hive的lib目录下,尽管这种方法在某些情况下可能会导致问题。 7. **Hive on Tez的配置**: 在Hive的配置文件(如`hive-...
整个过程涉及到了 Maven 的安装配置、Protocol Buffers 的下载安装以及 Tez 的安装配置等多个步骤。通过这些步骤,可以有效提升 CDH 集群的数据处理能力和效率。需要注意的是,实际操作过程中可能会遇到各种具体的...
7. **tez-tests-0.9.1.jar**:包含了Tez的测试用例,可用于验证Tez的正确性和性能。 8. **tez-common-0.9.1.jar**:包含了一些通用的类和工具,这些在Tez的多个组件中都会用到。 Tez 0.9.1的使用涉及配置、DAG定义...
用户可以期待这个版本的TEZ在功能上是最新的,并且经过了与Hadoop 3.2.1的测试,提供了一个简洁的基础环境,适用于快速部署和实验。 【标签】"hadoop"、"hadoop3"和"tez"揭示了该压缩包的主要技术栈。Hadoop是一个...
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
3. **tez-tests-0.8.5.jar** - 测试用例库,用于验证Tez的功能和性能。 4. **tez-yarn-timeline-history-0.8.5.jar** - 关于YARN时间线服务和历史记录的组件,可能用于监控和调试。 5. **tez-job-analyzer-0.8.5.jar...
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
7. tez-tests-0.9.2.jar:测试库,用于验证Tez的功能和性能,确保其正确性和稳定性。 8. tez-ext-service-tests-0.9.2.jar:扩展服务测试库,可能包含针对特定环境或插件的测试用例。 综合以上信息,Tez-0.9.2.tar...
5. `tez-tests-0.10.1-SNAPSHOT.jar`、`tez-ext-service-tests-0.10.1-SNAPSHOT.jar`:测试相关的JAR文件,用于验证Tez的功能和性能,确保其正确性和稳定性。 总结来说,Tez-0.10.1-SNAPSHOT.tar.gz是Apache Tez的...
Apache Tez 是一个高度可扩展和灵活的数据处理框架,它构建在 Apache Hadoop 上,用于执行复杂的、有向无环图(DAG)任务。这个框架优化了 MapReduce 模型,提供了更高效的并行计算能力,适用于大规模数据处理工作。...