`

tez ui 安装测试

阅读更多

tez ui 安装测试

标签(空格分隔): 未分类


环境:hadoop-2.7.1,tez-0.7.0,tomcat 7

  1. 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中
  2. 修改tez-ui的war解压后的文件scripts/configs.js文件

    App.setConfigs({
    
    /* Environment configurations */
    envDefaults: {
    version: "0.7.0",
    /*
     * By default TEZ UI looks for timeline server at http://localhost:8188, uncomment and change
     * the following value for pointing to a different domain.
     */
    timelineBaseUrl: 'http://10.162.209.29:8188',
    
    /*
     * By default RM web interface is expected to be at http://localhost:8088, uncomment and change
     * the following value to point to a different domain.
     */
    RMWebUrl: 'http://10.162.209.29:8088',
    }

    timelineBaseUrl的值为yarn中的timeline地址 
    RMWebUrl:的值为resourcemanager的地址

  3. 配置yarn的timeline服务:修改yarn-site.xml文件,添加如下配置

         <!-- conf timeline server -->
        <property>
                <name>yarn.timeline-service.enabled</name>
                <value>true</value>
        </property>
    
        <property>
                <name>yarn.timeline-service.hostname</name>
                <value>10.162.209.29</value>
        </property>
    
        <property>
                <name>yarn.timeline-service.http-cross-origin.enabled</name>
                <value>true</value>
        </property>
    
        <property>
                <name> yarn.resourcemanager.system-metrics-publisher.enabled</name>
                <value>true</value>
        </property>

    修改后的yarn-site.xml文件同步到所有hadoop节点中,并重启yarn服务

    [hadoop@gateway]$ hadoop-2.7.1/sbin/stop-yarn.sh #停止
    [hadoop@gateway]$ hadoop-2.7.1/sbin/start-yarn.sh #启动
    [hadoop@gateway]$ hadoop-2.7.1/sbin/yarn-daemon.sh start historyserver #启动timeline服务
    • 从浏览器访问10.162.209.29:8188 地址可以看到和8088端口一样的ui界面即可
  4. 修改tez-site.xml文件 
    xml 
    <property> 
    <name>tez.history.logging.service.class</name> 
    <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value> 
    </property> 
    <property> 
    <name>tez.allow.disabled.timeline-domains</name> 
    <value>true</value> 
    </property> 

    添加如上配置项:此处添加的tez-site.xml文件位于hive的conf下
  5. 运行一个hive的tez查询可以看到如下界面: 
    sql 
    hive> select x1.application_id,x2.application_id,x1.maxnum1,x2.minnum1 from ( 
    > select application_id,time_scope, max(num1) as maxnum1 from metric_data_entity group by application_id,time_scope limit 10) x1 
    > join ( 
    > select application_id,time_scope, min(num1) as minnum1 from metric_data_entity group by application_id,time_scope limit 10 
    > ) x2 
    > on x1.application_id=x2.application_id; 
  6. 运行后的tez-UI:
  • 大小: 128.4 KB
分享到:
评论

相关推荐

    tez-ui-0.10.1.war

    6. **测试与验证**:运行一个Hive查询并检查Tez UI是否能正确显示其执行情况。 通过以上步骤,可以有效地解决Tez UI编译和部署的问题,提升Hadoop和Tez环境的管理和监控能力。尤其对于大数据开发团队,掌握如何使用...

    已编译好的github上最新的tez-ui-0.10.1

    已编译好的github上最新的tez-ui-0.10.1 比apache官网上的都要高一个版本,解决了很多bug

    tez-0.10.1.zip

    `tez-0.10.1.zip` 压缩包为开发者提供了编译好的 Tez 版本,包括 Tez UI,使得用户能够便捷地集成和管理 Tez 作业,进行性能监控和故障排查。对于需要处理大量数据的项目,了解和掌握 Tez 是提升数据处理效率的关键...

    apache-tez-0.9.2-bin.tar.gz

    5. **测试安装**:安装完成后,运行`tez versions`命令检查Tez是否已正确安装并找到相应的版本信息。 6. **运行示例**:可以尝试运行Tez自带的示例,如WordCount,以验证安装是否成功。 Tez的性能提升主要体现在...

    Apache TEZ部署手册

    如果使用 HIVE,请考虑版本匹配,目前经过测试 TEZ 0.7.0 和 HIVE 1.2 可以正常工作。 方法一:修改 mapred-site.xml 文件,将 mapreduce.framework.name 从 yarn 修改为 yarn-tez。这样做的缺点是,所有任务都由 ...

    HiveMRvsHiveTez:Hadoop 2.6.0 + Hive 1.2.0 + Tez 0.7.0 + Tez UI 0.7.0 + MySQL + BigFrame + Datahooks

    使用BigFrame比较Hive-MR和Hive-Tez的性能Hadoop 2.6.0 + Hive 1.2.0 + Tez 0.7.0 + Tomact 8.0 + Tez UI 0.7.0 + MySQL + BigFrame + Datahooks教程 系统必备本教程基于Ubuntu 14.04LTS 64位版本。 添加一个名为...

    CDH6.3.2集成tez

    整个过程涉及到了 Maven 的安装配置、Protocol Buffers 的下载安装以及 Tez 的安装配置等多个步骤。通过这些步骤,可以有效提升 CDH 集群的数据处理能力和效率。需要注意的是,实际操作过程中可能会遇到各种具体的...

    Hadoop3+Hive3+Tez编译安装

    Hadoop3+Hive3+Tez编译安装;适用视频:https://www.bilibili.com/video/BV1L54

    tez-0.9.1-minimal.tar.gz

    值得注意的是,这个包不包含 Tez UI,即用户界面,可能会影响到用户对作业的可视化监控和调试。同时,发布者并未进行详细验证,但承诺会提供后续的测试结果。 【标签】"HIVE Tez CDH6.2" 指出,Tez 主要与 HIVE ...

    cdh继承tez引擎 cdh添加tez引擎 hive引擎增加

    成功编译后,将Tez的相关jar包安装到Hadoop的类路径中,这通常涉及到将编译后的jar文件复制到Hive的lib目录下,尽管这种方法在某些情况下可能会导致问题。 7. **Hive on Tez的配置**: 在Hive的配置文件(如`hive-...

    hive on tez 常见报错问题收集

    然而,在实际操作中,我们经常会遇到一些常见的错误,特别是当Hive运行在Tez引擎上时。这里我们将深入探讨五个在Hive on Tez中常见的报错问题及其解决方案。 1. 错误一:Failing because I am unlikely to write ...

    tez-0.9.1.tar.gz

    7. **tez-tests-0.9.1.jar**:包含了Tez的测试用例,可用于验证Tez的正确性和性能。 8. **tez-common-0.9.1.jar**:包含了一些通用的类和工具,这些在Tez的多个组件中都会用到。 Tez 0.9.1的使用涉及配置、DAG定义...

    tez-0.9.2-minimal.tar.gz

    用户可以期待这个版本的TEZ在功能上是最新的,并且经过了与Hadoop 3.2.1的测试,提供了一个简洁的基础环境,适用于快速部署和实验。 【标签】"hadoop"、"hadoop3"和"tez"揭示了该压缩包的主要技术栈。Hadoop是一个...

    源码apache-tez-0.8.3编译后的hadoop2.7.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    tez.tar.gz

    3. **tez-tests-0.8.5.jar** - 测试用例库,用于验证Tez的功能和性能。 4. **tez-yarn-timeline-history-0.8.5.jar** - 关于YARN时间线服务和历史记录的组件,可能用于监控和调试。 5. **tez-job-analyzer-0.8.5.jar...

    源码apache-tez-0.8.3编译后的hadoop2.8.3版本hive-tez包tez-0.8.3.tar.gz

    源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。

    apache-tez源码

    Apache Tez 是一个高度可扩展和灵活的数据处理框架,它构建在 Apache Hadoop 上,用于执行复杂的、有向无环图(DAG)任务。这个框架优化了 MapReduce 模型,提供了更高效的并行计算能力,适用于大规模数据处理工作。...

    tez-0.9.2.tar.gz

    7. tez-tests-0.9.2.jar:测试库,用于验证Tez的功能和性能,确保其正确性和稳定性。 8. tez-ext-service-tests-0.9.2.jar:扩展服务测试库,可能包含针对特定环境或插件的测试用例。 综合以上信息,Tez-0.9.2.tar...

    tez-0.10.1-SNAPSHOT.tar.gz

    5. `tez-tests-0.10.1-SNAPSHOT.jar`、`tez-ext-service-tests-0.10.1-SNAPSHOT.jar`:测试相关的JAR文件,用于验证Tez的功能和性能,确保其正确性和稳定性。 总结来说,Tez-0.10.1-SNAPSHOT.tar.gz是Apache Tez的...

Global site tag (gtag.js) - Google Analytics