`

kettle集群服务部署

阅读更多
本实验使用的服务器:

127.0.0.1 lixuemei-PC

10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010

三、carte相关配置文件说明

本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。

Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd

(1)主服务器(carte-config-master-8080.xml)的配置内容为:

  <slaveserver>

   <name>master1</name>

   <hostname>lixuemei-PC</hostname>

   <port>8080</port>

   <master>Y</master>

  </slaveserver>

其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。

(2)子服务器(carte-config-8082.xml)的配置内容为:

<masters>



    <slaveserver>

     <name>master1</name>

     <hostname>lixuemei-PC</hostname>

     <port>8080</port>

      <username>cluster</username>

     <password>cluster</password>

     <master>Y</master>

    </slaveserver>



  </masters>



<report_to_masters>Y</report_to_masters>



  <slaveserver>

   <name>slave2-8082</name>

   <hostname>10.2.2.11</hostname>

    <port>8082</port>

   <username>cluster</username>

   <password>cluster</password>

   <master>N</master>

  </slaveserver>

         其中<hostname>10.2.2.11</hostname>为子服务器的ip。

         同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。

四、carte服务开启

对于Windows运行:Carte.batIP address port

对于Linux运行:carte.shIP address port

图1所示启动windows上的主节点,并已启动成功。












  • 大小: 122.6 KB
  • 大小: 102.9 KB
  • 大小: 104.3 KB
  • 大小: 57.7 KB
分享到:
评论

相关推荐

    kettle集群(cluster)在多个服务器上并发执行

    kettle集群(cluster)在多个服务器上并发执行是指通过将kettle部署在多个服务器上,实现分布式数据处理和排序的目的。这种方法可以大大提高数据处理的效率和速度,特别是在大数据量的情况下。 以下是kettle集群在...

    Kettle集群部署详解

    ### Kettle集群部署详解 #### 一、Kettle概述与特点 Kettle是一款国外开源的ETL(Extract, Transform, Load)工具,采用纯Java编写,可在多种操作系统上运行,如Windows、Linux、Unix等,并且是绿色软件,无需安装...

    Kettle的集群模式

    在Kettle集群中,数据在主服务器和子服务器之间通过TCP/IP套接字进行交换,因为相比Web服务,TCP/IP提供更快的速度和更低的开销。理解主服务器和子服务器的角色对于有效地管理集群schema至关重要。 总的来说,...

    Kettle集群环境搭建

    在大数据处理场景下,为了提升处理效率和应对高并发的需求,通常会采用Kettle集群模式进行部署。本文将详细介绍如何搭建Kettle集群环境。 #### 二、准备工作 1. **环境准备**:首先确保所有的服务器(包括主节点和...

    利用kettle运行job,完成以上的两个过程.mp4

    利用kettle运行job,完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表

    BI Kettle中文文档汇集

    BI Kettle中文文档汇集 ... Kettle集群.pdf linux下部署kettle.pdf 开源ETL工具-PentahoKettle使用入门.pdf 开源ETL工具kettle系列之动态转换.pdf 我的kettle学习笔记.pdf 测试ETL工具都应测试哪些方面.pdf

    Kettle源码(Web版)

    7. **并行和分布式处理**:Kettle支持并行和分布式执行,源码中会涉及到多线程和集群通信的相关代码,这对于理解大数据处理有很高的价值。 8. **版本控制**:Web版可能集成了版本控制系统,以便于团队协作。这涉及...

    kettle-8.2.0.0源码

    9. **分布式执行**:Kettle支持分布式和集群部署,如通过Pentaho Data Integration Server进行分布式处理。源码中的`cluster`和`slaves`模块涉及到了这部分功能。 10. **性能优化**:在8.2.0.0版本中,Kettle可能...

    kettle学习笔记

    Kettle支持集群部署,可以提高ETL处理的并行性和性能。CARTE是Kettle的内置服务器,可以运行和管理转换和作业。通过CARTE.bat,用户可以启动Kettle服务,实现分布式环境下的任务调度。 【分区Schema】 分区Schema是...

    kettle 相关jar包

    在开发或部署Kettle作业和转换时,可能还需要根据实际需求添加或调整jar包,例如,如果你的工作涉及到特定的数据源,可能需要添加对应的数据库驱动。 Kettle的强大之处在于它的灵活性和可扩展性。通过图形化的工作...

    kettle实战教程.pdf

    4. 分区和集群:在分布式系统中进行数据分区和集群管理。 综上所述,Kettle实战教程提供了对Kettle工具深入的介绍和操作指导,内容覆盖了Kettle的基础知识、安装配置、实际操作和高级应用。通过本教程,用户可以...

    Kettle文档.zip

    在实际应用中,Kettle能够处理各种数据源,如关系型数据库、XML文件、Excel电子表格、Web服务、Hadoop等。它支持ETL(提取、转换、加载)的最佳实践,如数据清洗、去重、类型转换、数据聚合等。Kettle的灵活性和强大...

    kettle学习笔记.docx

    通过Carte,可以构建Kettle集群,实现分布式处理。 4. **操作案例** - **数据库资源集操作**:在Kettle中,可以方便地管理与各种数据库的连接,包括创建、修改和删除数据库连接。Kettle支持多种数据库类型,如...

    kettle.zip

    6. **集群和云支持**:Kettle9.0可以部署在Hadoop集群上,或者通过云服务运行,适应现代数据中心的需求。 7. **日志和监控**:内置的日志系统和监控工具帮助跟踪和调试ETL过程,确保数据处理的准确性和稳定性。 8....

    kettle资源

    - **分布式处理**:Kettle支持集群部署,可以通过Job和Transformation的并行执行来提高处理效率。 在实践中,"kettle实例"的四个文件可能协同工作,例如,"数据批量抽取作业.kjb"可以启动并协调多个数据抽取任务,...

    Kettle基础培训.pptx

    免费开源ETL工具kettle基础培训,主要包括kettle简单介绍、kettle简单部署和集群部署、spoon图形界面工具介绍、用法实例、常用集成方案、性能调优等。

    kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包kettle资源包

    Kettle提供了图形化的界面,让用户可以通过拖拽的方式构建复杂的ETL流程,支持多种数据源,如数据库、文件、Web服务等,具有高度灵活性和可扩展性。 在数据处理领域,Kettle以其易用性和高效性能备受青睐。以下是...

Global site tag (gtag.js) - Google Analytics