本实验使用的服务器:
127.0.0.1 lixuemei-PC
10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010
三、carte相关配置文件说明
本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。
Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd
(1)主服务器(carte-config-master-8080.xml)的配置内容为:
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>
其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。
(2)子服务器(carte-config-8082.xml)的配置内容为:
<masters>
<slaveserver>
<name>master1</name>
<hostname>lixuemei-PC</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>
</masters>
<report_to_masters>Y</report_to_masters>
<slaveserver>
<name>slave2-8082</name>
<hostname>10.2.2.11</hostname>
<port>8082</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>
其中<hostname>10.2.2.11</hostname>为子服务器的ip。
同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。
四、carte服务开启
对于Windows运行:Carte.batIP address port
对于Linux运行:carte.shIP address port
图1所示启动windows上的主节点,并已启动成功。
- 大小: 122.6 KB
- 大小: 102.9 KB
- 大小: 104.3 KB
- 大小: 57.7 KB
分享到:
相关推荐
kettle集群(cluster)在多个服务器上并发执行是指通过将kettle部署在多个服务器上,实现分布式数据处理和排序的目的。这种方法可以大大提高数据处理的效率和速度,特别是在大数据量的情况下。 以下是kettle集群在...
### Kettle集群部署详解 #### 一、Kettle概述与特点 Kettle是一款国外开源的ETL(Extract, Transform, Load)工具,采用纯Java编写,可在多种操作系统上运行,如Windows、Linux、Unix等,并且是绿色软件,无需安装...
在Kettle集群中,数据在主服务器和子服务器之间通过TCP/IP套接字进行交换,因为相比Web服务,TCP/IP提供更快的速度和更低的开销。理解主服务器和子服务器的角色对于有效地管理集群schema至关重要。 总的来说,...
在大数据处理场景下,为了提升处理效率和应对高并发的需求,通常会采用Kettle集群模式进行部署。本文将详细介绍如何搭建Kettle集群环境。 #### 二、准备工作 1. **环境准备**:首先确保所有的服务器(包括主节点和...
利用kettle运行job,完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表
BI Kettle中文文档汇集 ... Kettle集群.pdf linux下部署kettle.pdf 开源ETL工具-PentahoKettle使用入门.pdf 开源ETL工具kettle系列之动态转换.pdf 我的kettle学习笔记.pdf 测试ETL工具都应测试哪些方面.pdf
7. **并行和分布式处理**:Kettle支持并行和分布式执行,源码中会涉及到多线程和集群通信的相关代码,这对于理解大数据处理有很高的价值。 8. **版本控制**:Web版可能集成了版本控制系统,以便于团队协作。这涉及...
9. **分布式执行**:Kettle支持分布式和集群部署,如通过Pentaho Data Integration Server进行分布式处理。源码中的`cluster`和`slaves`模块涉及到了这部分功能。 10. **性能优化**:在8.2.0.0版本中,Kettle可能...
Kettle支持集群部署,可以提高ETL处理的并行性和性能。CARTE是Kettle的内置服务器,可以运行和管理转换和作业。通过CARTE.bat,用户可以启动Kettle服务,实现分布式环境下的任务调度。 【分区Schema】 分区Schema是...
在开发或部署Kettle作业和转换时,可能还需要根据实际需求添加或调整jar包,例如,如果你的工作涉及到特定的数据源,可能需要添加对应的数据库驱动。 Kettle的强大之处在于它的灵活性和可扩展性。通过图形化的工作...
4. 分区和集群:在分布式系统中进行数据分区和集群管理。 综上所述,Kettle实战教程提供了对Kettle工具深入的介绍和操作指导,内容覆盖了Kettle的基础知识、安装配置、实际操作和高级应用。通过本教程,用户可以...
在实际应用中,Kettle能够处理各种数据源,如关系型数据库、XML文件、Excel电子表格、Web服务、Hadoop等。它支持ETL(提取、转换、加载)的最佳实践,如数据清洗、去重、类型转换、数据聚合等。Kettle的灵活性和强大...
通过Carte,可以构建Kettle集群,实现分布式处理。 4. **操作案例** - **数据库资源集操作**:在Kettle中,可以方便地管理与各种数据库的连接,包括创建、修改和删除数据库连接。Kettle支持多种数据库类型,如...
6. **集群和云支持**:Kettle9.0可以部署在Hadoop集群上,或者通过云服务运行,适应现代数据中心的需求。 7. **日志和监控**:内置的日志系统和监控工具帮助跟踪和调试ETL过程,确保数据处理的准确性和稳定性。 8....
- **分布式处理**:Kettle支持集群部署,可以通过Job和Transformation的并行执行来提高处理效率。 在实践中,"kettle实例"的四个文件可能协同工作,例如,"数据批量抽取作业.kjb"可以启动并协调多个数据抽取任务,...
免费开源ETL工具kettle基础培训,主要包括kettle简单介绍、kettle简单部署和集群部署、spoon图形界面工具介绍、用法实例、常用集成方案、性能调优等。
Kettle提供了图形化的界面,让用户可以通过拖拽的方式构建复杂的ETL流程,支持多种数据源,如数据库、文件、Web服务等,具有高度灵活性和可扩展性。 在数据处理领域,Kettle以其易用性和高效性能备受青睐。以下是...