使用Pentaho Kettle做了个数据抓取入库的程序，大致这个样：
使用文本调测的时候，速度大概7500条/秒，但是换上数据库后，速度只有150条/秒，对于20万左右的数据入库要超过20分钟，这让人没法接受。
使用批量插入好像也没什么效果，依然慢
求助Google，找到了2个参考：
参考1：http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html
参考2：http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9
描述的基本一致，根据参考调整了连接参数：
useServerPrepStmts=false rewriteBatchedStatements=true useCompression=true
数据写入速度马上提升到2300条/秒左右，开3个线程，写入速度就与文本写入差不多了。
也算写了很长时间的代码，使用Kettle也算有一段时间，一般只是关注Tranaction如何实现功能，对连接参数可以说基本不关注，但这样的速度提升摆在面前，不熟悉这些性能参数，要想提高性能还真的不容易，写出来也是希望碰到相同问题时能有点参考，因为使用百度，完全搜索不到^_^，写点中文的，希望能被收录
相关推荐
Pentaho Kettle，通常被称为Pentaho Data Integration（PDI），是开源企业级数据集成工具，主要用于ETL（Extract, Transform, Load）过程。它由社区驱动，是Pentaho BI Suite的重要组成部分，用于处理数据整合任务，...
MySQL是一个广泛使用的开源关系型数据库管理系统，而Kettle（又称Spoon）是Pentaho公司开发的一种ETL（Extract, Transform, Load）工具，用于数据抽取、转换和加载。在这个场景中，“kettle批量导出mysql建表语句”...
Kettle，又称Pentaho Data Integration (PDI)，是一款强大的ETL（提取、转换、加载）工具，它提供了图形化的界面来设计和执行数据迁移任务。在Kettle 7.0版本中，其稳定性和性能得到了进一步提升，使得数据库迁移变...
在IT行业中，数据管理和处理是一项核心任务，而Kettle（又称Pentaho Data Integration或PDI）是一款强大的ETL（Extract, Transform, Load）工具，它允许用户从各种数据源抽取、转换和加载数据。本篇文章将深入探讨...
标题中的“kettle循环分页迁移数据的完整例子”指的是使用Kettle（Pentaho Data Integration，也称为ETL工具）进行数据迁移的一种方法。Kettle是一个强大的数据集成平台，它允许用户通过图形化的工作流设计来处理...
例如，通过对`org.pentaho.di.core.database.Database`类的理解，我们可以自定义数据库连接参数，优化数据读写速度；通过修改`org.pentaho.di.trans.step.StepMetaInterface`和`org.pentaho.di.trans.step....
Kettle 7.1 是一款强大的数据集成工具，其全称为Pentaho Data Integration（PDI），由社区驱动的开源项目提供支持，主要用于数据仓库建设和ETL（Extract, Transform, Load）过程。这个版本在之前的版本基础上进行了...
Kettle，又称Pentaho Data Integration (PDI)，是一款强大的数据集成工具，它允许用户通过图形化界面设计、执行各种ETL（Extract, Transform, Load）任务。在Kettle中，资源库表（Repository）是存储元数据和工作流...
通过调整并行度、批量大小等参数，以及优化转换流程，可以提高数据迁移的速度和效率。 8. **自动化与调度**：Kettle支持批处理和定时任务，可以将整个数据库迁移流程设置为一个作业，并使用内置的调度器定期执行，...
Kettle，全称为Pentaho Data Integration，是一款强大而灵活的数据集成工具，尤其在版本4.2.0中，它进一步强化了对不同数据库间数据交换、合并及筛选等功能，满足了企业在大数据时代对于数据批量处理的需求。...
Kettle，又称为Pentaho Data Integration（PDI），是一款强大的开源数据集成工具，主要用于ETL（Extract, Transform, Load）过程。它允许用户从各种数据源提取数据，进行清洗、转换和加载到目标数据存储系统中。...
此外，Kettle支持批量插入，以提高数据加载速度。 4. **数据库连接管理**：在Kettle的"系统"部分，用户可以创建、编辑和管理数据库连接。这些连接信息包括数据库URL、用户名、密码、驱动类等，使得在不同步骤间共享...
Kettle，又称Pentaho Data Integration (PDI)，是一款强大的数据集成工具，广泛应用于数据迁移、数据清洗、ETL（提取、转换、加载）等任务。在这个“Kettle的一套流程完成对整个数据库迁移”的压缩包中，包含了完成...
Kettle提供了批处理和并行处理的能力，可以通过设置步骤的“块大小”和“并行执行”选项来提高处理速度。此外，Kettle还支持作业调度，可以配置定时任务，自动化执行数据同步，确保数据实时性。 在“kettle工具使用...
5. **分布式处理**：在Kettle 4.3中，已经开始支持分布式和并行处理，利用多核心处理器或集群资源提高数据处理速度。这在处理大量数据时尤其重要。 6. **数据预览与测试**：Kettle允许用户在设计阶段实时预览数据，...
同时，了解并利用Kettle的并行处理能力，可以显著提高大数据处理速度。 通过深入学习Kettle，不仅可以掌握数据集成的基本技能，还能在面对复杂数据处理场景时游刃有余。无论是数据仓库建设、数据分析还是数据迁移，...
Kettle（Pentaho Data Integration，简称PDI）是一款强大的ETL工具，它允许用户从各种数据源抽取、转换和加载数据。在这个名为"Kettle-PDI-KTR - 采集数据示例脚本.zip"的压缩包中，包含了7-8个具体的Kettle转换...
总的来说，`mysql-connector-j-8.0.31.jar`是Java开发者与MySQL 8.0.31数据库交互的关键工具，它的正确使用能够确保应用顺利地读写数据库，实现各种复杂的业务逻辑。在Kettle等数据集成工具中，这个JAR包同样扮演着...
Kettle是Pentaho公司开发的一款强大的开源ETL工具，以其图形化界面和灵活的数据处理能力而广受欢迎。 在“ETL工具实现不同数据库迁移”的主题中，我们主要关注如何利用Kettle进行数据库之间的数据迁移。首先，我们...