用数据库作用kettle资源库会在数据库中建立很多表,所以就选择用文件资源库的方式。如果单纯的使用文件方式而非文件资源库的方式,在job引用转换的时候要选择文件本地路径,从windows移植到linux中路径就出现问题,虽然可以手动修改一下,但是每次都修改就烦人了。
使用文件资源库就简单多了。
当然,使用资源库就需要上传.kettle文件夹到linux,如果在linux中使用过kettle的话,在用户目录下会自动建好.kettle文件夹,如果没有使用过,可能还没有这个文件夹,那就手动创建。不过创建了也并不可见。位置在/home/user/.kettle
我的资源库内容:repositories.xml
<?xml version="1.0" encoding="UTF-8"?> <repositories> <repository> <id>KettleFileRepository</id> <name>fileRepository</name> <description>filereposity</description> <base_directory>C:\Data\kettleRepository</base_directory> <read_only>N</read_only> <hides_hidden_files>N</hides_hidden_files> </repository> </repositories>
<base_directory>部分是在windows下的资源库路径,上传到linux中需要改为linux下的资源库路径。然后可以将windows下设计好的转换和job都放到这个文件夹下。
最后是调用job脚本:/opt/kettle/data-integration/kitchen.sh -rep=fileRepository -job=testjob
指定资源库ID和job名称。
相关推荐
- 在Linux环境下,Windows的资源库需转换为文件资源库。 - 创建新的文件资源库。 - 导入XML格式的资源库,忽略转换提示。 - 将Windows下的资源库文件(kjb和ktr)拷贝到Linux的/export/file_db/目录下。 7. **...
kettle在linux状态下调用的脚本文件,自动化,一键运行,便于实施。
在 Kettle 中,需要使用 Linux 的定时执行命令来执行定时作业。步骤为: 1. 不要在 Kettle 中设置定时。 2. 使用 Linux 的定时执行命令,例如 crontab。 四、注意事项 在部署 Kettle 时,需要注意以下几点: 1. ...
在使用 Kettle 时,也需要注意一些坑,例如在连接 hadoop 时,需要在资源库下,通过窗口命令运行,否则连接不上 hadoop。此外,还需要注意数据类型的转换,例如在使用文本输入控件时,需要指定分隔符和编码方式。 ...
又比如,在成功建立资源库后,可能会遇到repositories.xml文件乱码的问题,这也是需要特别注意并解决的问题。 在进行交易所DBF文件的清洗和处理时,需要进行跑批配置。根据提供的文档内容,需要打开特定的目录Hi....
【Kettle运行jar及其mvn脚本及配置文件.rar】是一个包含Kettle(Pentaho Data Integration,简称PDI)与Java集成所需资源的压缩包。这个包的主要目的是帮助开发者在Java项目中顺利运行Kettle作业或转换,通过Maven...
在某些情况下,如果你误装了错误版本的libwebkitgtk,可能需要使用`rpmdir`来卸载并清理相关文件。然而,这个工具并不包含在标准的RPM发行版中,通常需要通过第三方源或自行编译安装。如果你需要`rpmdir`,可以找到...
文件资源库是在一个文件目录下定义一个资源库,kettle 使用的是虚拟文件系统,这里的文件目录是一个广泛的概念,包括普通文件目录、zip 文件、web 服务、ftp 服务等,kettle 的转换(transformation)和作业(job)...
- 资源库是存储所有Kettle元数据(如转换、作业、数据源定义等)的地方。可以配置资源库自动登录,以便简化操作。 - 定义是指在Kettle中创建的各种对象和实体的详细说明。 3. 转换与任务: - 转换是指数据的提取...
在大数据处理场景下,为了提升处理效率和应对高并发的需求,通常会采用Kettle集群模式进行部署。本文将详细介绍如何搭建Kettle集群环境。 #### 二、准备工作 1. **环境准备**:首先确保所有的服务器(包括主节点和...
1. 资源库管理:在Kettle中,资源库用于管理ETL作业、Transformation以及相关元数据信息。 2. 数据源配置:定义从哪些数据源抽取数据,包括数据库连接、文件路径等。 3. 数据转换(Transformation): - 输入:如表...
资源库有两种形式:Kettle database repository,即保存在各种常见的数据库中;Repository,即保存在文件系统中。 Kettle 是一款功能强大、灵活的 ETL 工具,能够满足各种数据处理需求,包括数据抽取、数据转换、...
Kettle提供了一种资源库的方式来整合所有的工作流程: - 创建一个新的Transformation,点击保存到本地路径,例如保存到D:/ETLTEST下,保存文件名为Trans,Kettle默认Transformation文件保存后缀名为`.ktr`。 - 创建...
如果在创建数据库资源库时遇到错误,可能是缺少对应数据库的JDBC驱动,此时需要手动将驱动JAR文件复制到Kettle安装目录的lib文件夹中,然后重启Kettle。 输入组件如Table input,用于从数据库中读取数据,它允许...
- **Kettle File Repository**:基于文件系统的资源库,无需认证,直接操作。 资源库并非强制使用,转换与任务也可保存为XML文件。推荐使用数据库类型资源库,便于多用户共享及集中管理。 #### 5. 资源库创建流程 ...
安装教程会指导用户如何在Windows、Linux或Mac OS上设置和运行Kettle。基础操作可能包括创建新转换、添加步骤、配置数据输入和输出,以及运行和调试转换。 "Kettle部署"章节将详细说明如何在生产环境中部署和管理...