`
yinwxiang
  • 浏览: 65288 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Informatica数据加载机制

    博客分类:
  • ETL
阅读更多
  很长一段时间,对informatica的数据加载方式,比较迷惑,只是大致知道怎么去使用,直到现在的工作环境中,看到有人在使用Update Strategy这个组件,目的只是为了能使数据得到更新(组件中,只是写这dd_update),个人认为Update Strategy这个组件在只是做一种加载方式时,大可不必去使用,因为这个是比较消耗资源的组件,它要根据数据自身特征,对数据进行rowtype进行处理,这个可以在debug的时候可以看到的。
  那么后面session:Properties这个tab中有这个Attribute:Treat source rows as 也有几个选项可以对数据的rowtype进行置位。
  最后在session:Mapping这个tab中对应的目标表有这个Attribute:它也有几个可复选选项Insert, Update as Update,update as Insert,Update else Insert,Delete可以再次进行设置它rowtype?注:Truncate target table option这个选项不在其中,它在数据同步时很有用(Update as Update,update as Insert,Update else Insert这个三个选项这能选择一个)。
  这样,就有3个地方可以控制数据加载的类型,鉴于以上用Update Strategy处理方式(目标表有则更新,无则插入)我以前的做法一直是这样的,不用这个组件,session:Properties这个tab中有这个Attribute:Treat source rows as 选则Update,session:Mapping这个tab中对应的目标表有这个Attribute:选中Insert,Update else Insert同样可以达到想要的效果。
  最近总会被同事问及到这个问题,其实我也有点迷糊,也找了些资料我曾在网上找了个文档写的蛮好的,也很能迷惑人(注:《Informatica Update 机制详解》)
  总结下,是这样的:
  1,在session:Properties这个tab中有这个Attribute:Treat source rows as有4个选项Insert,Update,Delete,Data Divern,其实这个地方才是最开始的数据加载方式,这里从Source表中出来的数据进行置位,也就是说在Mapping中SQ这个组件过后的数据rowtype就已经通过该地方被设置过了。
  2,在Mapping中遇到Update Strategy时,这个组件会根据条件,对数据加以区分,有DD_UPDATE, DD_INSERT, DD_DELETE这样的几种rowtype,当然这个时候没有被选中的数据rowtype是不会被更改的,依旧是1中设置的状态(如有疑问可以用debug,查看)。
  3,最后在session:Mapping这个tab中对应的目标表有这个Attribute,这个是控制目标的加载方式,其实有点类似,有对目标表Insert Update,Delete的权限一样,这里默认选中了Insert,Update as Update,Delete其实相当于给出了Insert Update,Delete这个三个权限。Update as Update 就是以更新的方式更新,至于Update as Insert,是只对更新的数据记录以插入的方式放入目标表,Update else Insert这个是有数据需要更新的进行更新,对新数据(主键记录条数)进行插入,当然这个时候如果有新的数据Insert这个选项一定也是要选中的,否则新数据会被拒绝掉。(其实这就相当于你想往表里面插入数据,但你对表没有插入权限)
  注:在设计mapping 中如果已经用到Update Strategy这个组件了,那么后面的在session:Properties这个tab中有这个Attribute:Treat source rows as也就被定格在Data Divern这个选项了。
1
1
分享到:
评论

相关推荐

    Informatica数据迁移解决方案

    ### Informatica数据迁移解决方案知识点详解 #### 一、概述 Informatica是一家领先的全球数据管理和集成解决方案提供商,其数据迁移解决方案旨在帮助企业高效、安全地完成数据迁移任务,同时降低项目风险和成本。 ...

    informatica元数据分析

    - 存储映射(Mapping):这是Informatica数据转换过程的核心组件,包含数据流和转换规则。 - 存储会话(Session):用于执行映射并控制数据加载流程。 - 存储工作流(Workflow):一组有序的任务序列,通常包含多...

    Informatica数据服务

    1. **迅速引入并载入新的数据源**:通过强大的数据接入能力,可以快速整合各种新出现的数据源,无需复杂的编程工作即可完成数据加载。 2. **由时间敏感型数据派生出即时价值**:利用实时数据处理技术,能够对时间...

    FlatFiles_Informatica样本数据

    Informatica提供了错误处理机制,如错误记录和错误路由,将有问题的数据分流,以便进一步分析和处理。 8. **元数据管理**:Informatica的元数据管理功能可以帮助跟踪平面文件的结构和处理过程,这对于理解和维护...

    Informatica调用存储过程图文流程

    pre SQL 是 Informatica 中的一种机制,用于在数据加载之前执行 SQL 语句。在这里,我们可以写入调用存储过程的 SQL 语句。 5. 使用变量:如果存储过程需要输入参数,可以使用 Informatica 中的变量来传递参数。将...

    ETL数据加载策略_12345

    ETL(Extract, Transform, Load)数据加载策略是数据仓库和大数据处理中不可或缺的一部分,它涉及从各种数据源提取数据,进行清洗、转换,并最终加载到目标系统的过程。本篇文章将详细探讨ETL数据加载策略的关键要素...

    informatica测试报告

    3. **数据加载**:设计有效的数据加载机制,保证数据平稳、高效地进入数据仓库,减少对目标系统的影响。 通过这些详尽的测试和分析,Informatica测试报告旨在确保数据仓库的构建和维护过程中,数据的准确性和可用性...

    informatica资料

    组建覆盖广”,这意味着资料包可能涵盖了Informatica的多个组件和功能的实例,包括但不限于数据库连接、复杂的数据转换逻辑、错误处理机制、调度策略等,这对于学习和理解Informatica的全貌非常有帮助。 5. **学习...

    ETL Informatica

    ETL(Extract, Transform, Load)是数据仓库领域中的核心概念,它涉及从不同的源系统抽取(Extract)数据,对数据进行转换(Transform)以适应目标系统的需求,最后加载(Load)到目标系统,如数据仓库或大数据平台...

    informatica9.1 帮助文档

    这包括数据抽取、转换和加载(ETL)过程。通过定义源定义、目标定义和映射,用户可以定制化数据流动路径,确保数据准确无误地流入仓库。此外,文档中还涵盖了元数据管理,使数据仓库的维护和扩展更加便捷。 2. **...

    Informatica如何添加Partition

    Informatica Partition 是一种优化数据处理性能的机制,它允许一个 Session 在执行时使用多线程,从而提高数据加载的速度和效率。默认情况下,每个 Session 只有一个 Partition,但通过增加 Partition 数量,可以...

    Informatica产品技术说明书

    3. **产品特点**:Informatica产品具有多项显著特点,如强大的数据抽取、转换和加载(ETL)能力,支持多种数据源和格式,以及自动化的工作流管理。此外,其元数据管理平台允许用户跟踪和理解数据的全生命周期,增强...

    window 下的informatica

    Informatica PowerCenter是一款强大的数据集成工具,主要用于企业级的数据整合、清洗、转换和加载。在Windows环境下运行的8.6版本,提供了用户友好的图形化界面和高效的数据处理能力。以下将详细介绍该版本的一些...

    Informatica公司技术说明书

    首先,文档中提到的“产品体系结构和工作原理”,说明了Informatica产品的基本构成和运行机制。产品体系结构涉及软件各组件的部署方式、交互方法和集成过程。工作原理则说明了产品的运行逻辑,包括数据是如何从源...

    Informatica V7.1.3基础培训

    - **Informatica PowerCenter** 是一套企业级的数据集成解决方案,其核心是支持从多种数据源抽取、转换和加载数据到目标系统的过程(ETL过程)。 - **体系结构图** 显示了Informatica PowerCenter的不同组件及其相互...

    Informatica case study LOAD_INCREMENTAL_CHANGES

    二、Informatica的增量加载机制 Informatica通过跟踪数据变更日志(如Oracle的DBMS_LOGMNR或SQL Server的Change Data Capture)来识别增量数据。在LOAD_INCREMENTAL_CHANGES中,数据源和目标之间的映射会根据预定义...

    Informatica 8.1自我整理

    1. **数据抽取、转换和加载(ETL)**:Informatica 8.1支持从各种数据源抽取数据,包括数据库、文件系统、Web服务等,然后通过一系列内置的转换组件进行数据清洗、转换,最后加载到目标系统。这一过程涵盖了数据生命...

    informatica安装License.key

    Informatica是一款强大的数据集成工具,广泛应用于数据仓库、大数据处理和ETL(提取、转换、加载)场景。在使用Informatica进行安装时,一个重要的步骤就是配置License.key文件,它是激活Informatica软件并允许其...

    Informatica case study RemoveDuplicates

    在实际应用中,如“m_1_07_LoadNielsenData_RemoveDuplicates_v711.XML”这个文件所示,这可能是一个具体的Nielsen数据加载任务,其中包含了Informatica工作流的详细配置信息。XML文件存储了工作流的元数据,包括源...

    informatica powerexchange原理

    Informatica PowerExchange 是一款实时数据抽取工具,它可以实时从 Oracle 数据库中抽取增量数据,并将其加载到目标数据库中。下面是 Informatica PowerExchange 的原理和 Oracle 配置。 工作原理 Informatica ...

Global site tag (gtag.js) - Google Analytics