`
start_p
  • 浏览: 66782 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

kettle在linux下使用文件资源库

 
阅读更多

    用数据库作用kettle资源库会在数据库中建立很多表,所以就选择用文件资源库的方式。如果单纯的使用文件方式而非文件资源库的方式,在job引用转换的时候要选择文件本地路径,从windows移植到linux中路径就出现问题,虽然可以手动修改一下,但是每次都修改就烦人了。

 

 

 使用文件资源库就简单多了。

当然,使用资源库就需要上传.kettle文件夹到linux,如果在linux中使用过kettle的话,在用户目录下会自动建好.kettle文件夹,如果没有使用过,可能还没有这个文件夹,那就手动创建。不过创建了也并不可见。位置在/home/user/.kettle

我的资源库内容:repositories.xml

<?xml version="1.0" encoding="UTF-8"?>
<repositories>
  <repository>    <id>KettleFileRepository</id>
    <name>fileRepository</name>
    <description>filereposity</description>
   <base_directory>C&#x3a;&#x5c;Data&#x5c;kettleRepository</base_directory>
    <read_only>N</read_only>
    <hides_hidden_files>N</hides_hidden_files>
  </repository>  </repositories>

 

 <base_directory>部分是在windows下的资源库路径,上传到linux中需要改为linux下的资源库路径。然后可以将windows下设计好的转换和job都放到这个文件夹下。

最后是调用job脚本:/opt/kettle/data-integration/kitchen.sh -rep=fileRepository -job=testjob

指定资源库ID和job名称。

  • 大小: 11.6 KB
  • 大小: 26.2 KB
分享到:
评论

相关推荐

    Kettle在Linux的安装使用

    - 在Linux环境下,Windows的资源库需转换为文件资源库。 - 创建新的文件资源库。 - 导入XML格式的资源库,忽略转换提示。 - 将Windows下的资源库文件(kjb和ktr)拷贝到Linux的/export/file_db/目录下。 7. **...

    linux调用kettle所用到的自动化脚本 kettle_linux.sh

    kettle在linux状态下调用的脚本文件,自动化,一键运行,便于实施。

    linux centos环境kettle部署与定时作业执行

    在 Kettle 中,需要使用 Linux 的定时执行命令来执行定时作业。步骤为: 1. 不要在 Kettle 中设置定时。 2. 使用 Linux 的定时执行命令,例如 crontab。 四、注意事项 在部署 Kettle 时,需要注意以下几点: 1. ...

    kettle 使用总结(包含基本应用,定义变量,hadoop,集群,资源库)

    在使用 Kettle 时,也需要注意一些坑,例如在连接 hadoop 时,需要在资源库下,通过窗口命令运行,否则连接不上 hadoop。此外,还需要注意数据类型的转换,例如在使用文本输入控件时,需要指定分隔符和编码方式。 ...

    Kettle8.0清洗交易所DBF文件数据

    又比如,在成功建立资源库后,可能会遇到repositories.xml文件乱码的问题,这也是需要特别注意并解决的问题。 在进行交易所DBF文件的清洗和处理时,需要进行跑批配置。根据提供的文档内容,需要打开特定的目录Hi....

    Kettle运行jar及其mvn脚本及配置文件.rar

    【Kettle运行jar及其mvn脚本及配置文件.rar】是一个包含Kettle(Pentaho Data Integration,简称PDI)与Java集成所需资源的压缩包。这个包的主要目的是帮助开发者在Java项目中顺利运行Kettle作业或转换,通过Maven...

    解决Linux部署kettle报错缺少libwebkitgtk问题

    在某些情况下,如果你误装了错误版本的libwebkitgtk,可能需要使用`rpmdir`来卸载并清理相关文件。然而,这个工具并不包含在标准的RPM发行版中,通常需要通过第三方源或自行编译安装。如果你需要`rpmdir`,可以找到...

    kettle.docx

    文件资源库是在一个文件目录下定义一个资源库,kettle 使用的是虚拟文件系统,这里的文件目录是一个广泛的概念,包括普通文件目录、zip 文件、web 服务、ftp 服务等,kettle 的转换(transformation)和作业(job)...

    Kettle手册

    - 资源库是存储所有Kettle元数据(如转换、作业、数据源定义等)的地方。可以配置资源库自动登录,以便简化操作。 - 定义是指在Kettle中创建的各种对象和实体的详细说明。 3. 转换与任务: - 转换是指数据的提取...

    Kettle集群环境搭建

    在大数据处理场景下,为了提升处理效率和应对高并发的需求,通常会采用Kettle集群模式进行部署。本文将详细介绍如何搭建Kettle集群环境。 #### 二、准备工作 1. **环境准备**:首先确保所有的服务器(包括主节点和...

    kettle实战教程.pdf

    1. 资源库管理:在Kettle中,资源库用于管理ETL作业、Transformation以及相关元数据信息。 2. 数据源配置:定义从哪些数据源抽取数据,包括数据库连接、文件路径等。 3. 数据转换(Transformation): - 输入:如表...

    高效数据抽取工具 Kettle使用基础

    资源库有两种形式:Kettle database repository,即保存在各种常见的数据库中;Repository,即保存在文件系统中。 Kettle 是一款功能强大、灵活的 ETL 工具,能够满足各种数据处理需求,包括数据抽取、数据转换、...

    kettle的使用介绍

    Kettle提供了一种资源库的方式来整合所有的工作流程: - 创建一个新的Transformation,点击保存到本地路径,例如保存到D:/ETLTEST下,保存文件名为Trans,Kettle默认Transformation文件保存后缀名为`.ktr`。 - 创建...

    kettle 7.1 使用文档(初级)

    如果在创建数据库资源库时遇到错误,可能是缺少对应数据库的JDBC驱动,此时需要手动将驱动JAR文件复制到Kettle安装目录的lib文件夹中,然后重启Kettle。 输入组件如Table input,用于从数据库中读取数据,它允许...

    kettle_4.2.0基础教程

    - **Kettle File Repository**:基于文件系统的资源库,无需认证,直接操作。 资源库并非强制使用,转换与任务也可保存为XML文件。推荐使用数据库类型资源库,便于多用户共享及集中管理。 #### 5. 资源库创建流程 ...

    Kettle文档.zip

    安装教程会指导用户如何在Windows、Linux或Mac OS上设置和运行Kettle。基础操作可能包括创建新转换、添加步骤、配置数据输入和输出,以及运行和调试转换。 "Kettle部署"章节将详细说明如何在生产环境中部署和管理...

Global site tag (gtag.js) - Google Analytics