- 浏览: 65262 次
- 性别:
- 来自: 上海
最新评论
很长一段时间,对informatica的数据加载方式,比较迷惑,只是大致知道怎么去使用,直到现在的工作环境中,看到有人在使用Update Strategy这个组件,目的只是为了能使数据得到更新(组件中,只是写这dd_update),个人认为Update Strategy这个组件在只是做一种加载方式时,大可不必去使用,因为这个是比较消耗资源的组件,它要根据数据自身特征,对数据进行rowtype进行处理,这个可以在debug的时候可以看到的。
那么后面session:Properties这个tab中有这个Attribute:Treat source rows as 也有几个选项可以对数据的rowtype进行置位。
最后在session:Mapping这个tab中对应的目标表有这个Attribute:它也有几个可复选选项Insert, Update as Update,update as Insert,Update else Insert,Delete可以再次进行设置它rowtype?注:Truncate target table option这个选项不在其中,它在数据同步时很有用(Update as Update,update as Insert,Update else Insert这个三个选项这能选择一个)。
这样,就有3个地方可以控制数据加载的类型,鉴于以上用Update Strategy处理方式(目标表有则更新,无则插入)我以前的做法一直是这样的,不用这个组件,session:Properties这个tab中有这个Attribute:Treat source rows as 选则Update,session:Mapping这个tab中对应的目标表有这个Attribute:选中Insert,Update else Insert同样可以达到想要的效果。
最近总会被同事问及到这个问题,其实我也有点迷糊,也找了些资料我曾在网上找了个文档写的蛮好的,也很能迷惑人(注:《Informatica Update 机制详解》)
总结下,是这样的:
1,在session:Properties这个tab中有这个Attribute:Treat source rows as有4个选项Insert,Update,Delete,Data Divern,其实这个地方才是最开始的数据加载方式,这里从Source表中出来的数据进行置位,也就是说在Mapping中SQ这个组件过后的数据rowtype就已经通过该地方被设置过了。
2,在Mapping中遇到Update Strategy时,这个组件会根据条件,对数据加以区分,有DD_UPDATE, DD_INSERT, DD_DELETE这样的几种rowtype,当然这个时候没有被选中的数据rowtype是不会被更改的,依旧是1中设置的状态(如有疑问可以用debug,查看)。
3,最后在session:Mapping这个tab中对应的目标表有这个Attribute,这个是控制目标的加载方式,其实有点类似,有对目标表Insert Update,Delete的权限一样,这里默认选中了Insert,Update as Update,Delete其实相当于给出了Insert Update,Delete这个三个权限。Update as Update 就是以更新的方式更新,至于Update as Insert,是只对更新的数据记录以插入的方式放入目标表,Update else Insert这个是有数据需要更新的进行更新,对新数据(主键记录条数)进行插入,当然这个时候如果有新的数据Insert这个选项一定也是要选中的,否则新数据会被拒绝掉。(其实这就相当于你想往表里面插入数据,但你对表没有插入权限)
注:在设计mapping 中如果已经用到Update Strategy这个组件了,那么后面的在session:Properties这个tab中有这个Attribute:Treat source rows as也就被定格在Data Divern这个选项了。
那么后面session:Properties这个tab中有这个Attribute:Treat source rows as 也有几个选项可以对数据的rowtype进行置位。
最后在session:Mapping这个tab中对应的目标表有这个Attribute:它也有几个可复选选项Insert, Update as Update,update as Insert,Update else Insert,Delete可以再次进行设置它rowtype?注:Truncate target table option这个选项不在其中,它在数据同步时很有用(Update as Update,update as Insert,Update else Insert这个三个选项这能选择一个)。
这样,就有3个地方可以控制数据加载的类型,鉴于以上用Update Strategy处理方式(目标表有则更新,无则插入)我以前的做法一直是这样的,不用这个组件,session:Properties这个tab中有这个Attribute:Treat source rows as 选则Update,session:Mapping这个tab中对应的目标表有这个Attribute:选中Insert,Update else Insert同样可以达到想要的效果。
最近总会被同事问及到这个问题,其实我也有点迷糊,也找了些资料我曾在网上找了个文档写的蛮好的,也很能迷惑人(注:《Informatica Update 机制详解》)
总结下,是这样的:
1,在session:Properties这个tab中有这个Attribute:Treat source rows as有4个选项Insert,Update,Delete,Data Divern,其实这个地方才是最开始的数据加载方式,这里从Source表中出来的数据进行置位,也就是说在Mapping中SQ这个组件过后的数据rowtype就已经通过该地方被设置过了。
2,在Mapping中遇到Update Strategy时,这个组件会根据条件,对数据加以区分,有DD_UPDATE, DD_INSERT, DD_DELETE这样的几种rowtype,当然这个时候没有被选中的数据rowtype是不会被更改的,依旧是1中设置的状态(如有疑问可以用debug,查看)。
3,最后在session:Mapping这个tab中对应的目标表有这个Attribute,这个是控制目标的加载方式,其实有点类似,有对目标表Insert Update,Delete的权限一样,这里默认选中了Insert,Update as Update,Delete其实相当于给出了Insert Update,Delete这个三个权限。Update as Update 就是以更新的方式更新,至于Update as Insert,是只对更新的数据记录以插入的方式放入目标表,Update else Insert这个是有数据需要更新的进行更新,对新数据(主键记录条数)进行插入,当然这个时候如果有新的数据Insert这个选项一定也是要选中的,否则新数据会被拒绝掉。(其实这就相当于你想往表里面插入数据,但你对表没有插入权限)
注:在设计mapping 中如果已经用到Update Strategy这个组件了,那么后面的在session:Properties这个tab中有这个Attribute:Treat source rows as也就被定格在Data Divern这个选项了。
发表评论
-
Kettle学习
2013-11-10 20:55 01、资源库:(元数据) 2、数据库连接(异构的数据源连接) 3 ... -
Informatica transformations优化
2011-11-15 14:17 1532Optimizing Aggregator Transform ... -
Informatica aix服务端,windows客户端安装手册
2011-10-24 15:37 1336Informatica8.5.1服务端在AIX服务器上,客 ... -
Informatica 找出性能瓶颈
2011-10-18 14:46 2135以下提到的Session log ... -
Informatica 运用Debug调试
2011-10-17 14:35 2405在开发的时候,总是少不了要出错进行调试,informati ... -
Informatica 更换License
2011-10-08 15:01 3492因为在做Informatica 的升级,还没有正式的买Li ... -
Informatica 更换License
2011-10-08 14:57 0因为在做Informatica 的升级,还没有正式的买Li ... -
Informatica 8.5.1升级8.6.1
2011-09-29 12:00 1977前段时间一直在忙Informatica 8.5.1升级到8.6 ... -
Informatica Schedule元数据信息
2011-09-28 11:01 1792近日,被问及Informatica 的Scheduler ... -
Informatica Schedule元数据信息
2011-09-27 14:34 3对应着rep_all_schedulers这个view的中Ru ... -
Informatica Schedule调用还是shell调用
2011-09-26 15:12 4094首先介绍下Infomatica Wo ... -
Informatica Infasetup命令简单说明
2011-09-23 14:44 4174当前,大部分的公司使用的Informatica,任然是8.5. ... -
Informatica 日志管理
2011-09-23 10:51 4571前一段时间一直在忙Informatica 升级的事情,现在 ... -
Informatica 安装用户元数据解析
2011-07-19 15:21 3714OPB_ATTR : INFORMATICA (Designe ... -
informatica workflow调用shell脚本以及返回状态参数处理
2010-11-01 17:59 5992informatica,用shell脚本调用workflow, ... -
Informatica aix服务端,windows客户端安装手册
2010-10-25 08:44 124整了一整天,最终写完了这个完整,详细的安装手册呀。 -
pmcmd
2010-10-11 17:09 213pmcmd命令 可以对Workflow调度做控制;停止Info ... -
Informatica pmcmd命令执行时出错 not load
2010-10-11 16:30 1827在AIX系统中执行PMCMD的结果如下: $pmcmd Co ... -
informatica 资料学习转载
2010-09-13 10:04 4550Informatica简明使用手册 ...
相关推荐
### Informatica数据迁移解决方案知识点详解 #### 一、概述 Informatica是一家领先的全球数据管理和集成解决方案提供商,其数据迁移解决方案旨在帮助企业高效、安全地完成数据迁移任务,同时降低项目风险和成本。 ...
- 存储映射(Mapping):这是Informatica数据转换过程的核心组件,包含数据流和转换规则。 - 存储会话(Session):用于执行映射并控制数据加载流程。 - 存储工作流(Workflow):一组有序的任务序列,通常包含多...
1. **迅速引入并载入新的数据源**:通过强大的数据接入能力,可以快速整合各种新出现的数据源,无需复杂的编程工作即可完成数据加载。 2. **由时间敏感型数据派生出即时价值**:利用实时数据处理技术,能够对时间...
Informatica提供了错误处理机制,如错误记录和错误路由,将有问题的数据分流,以便进一步分析和处理。 8. **元数据管理**:Informatica的元数据管理功能可以帮助跟踪平面文件的结构和处理过程,这对于理解和维护...
pre SQL 是 Informatica 中的一种机制,用于在数据加载之前执行 SQL 语句。在这里,我们可以写入调用存储过程的 SQL 语句。 5. 使用变量:如果存储过程需要输入参数,可以使用 Informatica 中的变量来传递参数。将...
ETL(Extract, Transform, Load)数据加载策略是数据仓库和大数据处理中不可或缺的一部分,它涉及从各种数据源提取数据,进行清洗、转换,并最终加载到目标系统的过程。本篇文章将详细探讨ETL数据加载策略的关键要素...
3. **数据加载**:设计有效的数据加载机制,保证数据平稳、高效地进入数据仓库,减少对目标系统的影响。 通过这些详尽的测试和分析,Informatica测试报告旨在确保数据仓库的构建和维护过程中,数据的准确性和可用性...
组建覆盖广”,这意味着资料包可能涵盖了Informatica的多个组件和功能的实例,包括但不限于数据库连接、复杂的数据转换逻辑、错误处理机制、调度策略等,这对于学习和理解Informatica的全貌非常有帮助。 5. **学习...
ETL(Extract, Transform, Load)是数据仓库领域中的核心概念,它涉及从不同的源系统抽取(Extract)数据,对数据进行转换(Transform)以适应目标系统的需求,最后加载(Load)到目标系统,如数据仓库或大数据平台...
这包括数据抽取、转换和加载(ETL)过程。通过定义源定义、目标定义和映射,用户可以定制化数据流动路径,确保数据准确无误地流入仓库。此外,文档中还涵盖了元数据管理,使数据仓库的维护和扩展更加便捷。 2. **...
Informatica Partition 是一种优化数据处理性能的机制,它允许一个 Session 在执行时使用多线程,从而提高数据加载的速度和效率。默认情况下,每个 Session 只有一个 Partition,但通过增加 Partition 数量,可以...
3. **产品特点**:Informatica产品具有多项显著特点,如强大的数据抽取、转换和加载(ETL)能力,支持多种数据源和格式,以及自动化的工作流管理。此外,其元数据管理平台允许用户跟踪和理解数据的全生命周期,增强...
Informatica PowerCenter是一款强大的数据集成工具,主要用于企业级的数据整合、清洗、转换和加载。在Windows环境下运行的8.6版本,提供了用户友好的图形化界面和高效的数据处理能力。以下将详细介绍该版本的一些...
首先,文档中提到的“产品体系结构和工作原理”,说明了Informatica产品的基本构成和运行机制。产品体系结构涉及软件各组件的部署方式、交互方法和集成过程。工作原理则说明了产品的运行逻辑,包括数据是如何从源...
- **Informatica PowerCenter** 是一套企业级的数据集成解决方案,其核心是支持从多种数据源抽取、转换和加载数据到目标系统的过程(ETL过程)。 - **体系结构图** 显示了Informatica PowerCenter的不同组件及其相互...
二、Informatica的增量加载机制 Informatica通过跟踪数据变更日志(如Oracle的DBMS_LOGMNR或SQL Server的Change Data Capture)来识别增量数据。在LOAD_INCREMENTAL_CHANGES中,数据源和目标之间的映射会根据预定义...
1. **数据抽取、转换和加载(ETL)**:Informatica 8.1支持从各种数据源抽取数据,包括数据库、文件系统、Web服务等,然后通过一系列内置的转换组件进行数据清洗、转换,最后加载到目标系统。这一过程涵盖了数据生命...
Informatica是一款强大的数据集成工具,广泛应用于数据仓库、大数据处理和ETL(提取、转换、加载)场景。在使用Informatica进行安装时,一个重要的步骤就是配置License.key文件,它是激活Informatica软件并允许其...
在实际应用中,如“m_1_07_LoadNielsenData_RemoveDuplicates_v711.XML”这个文件所示,这可能是一个具体的Nielsen数据加载任务,其中包含了Informatica工作流的详细配置信息。XML文件存储了工作流的元数据,包括源...
Informatica PowerExchange 是一款实时数据抽取工具,它可以实时从 Oracle 数据库中抽取增量数据,并将其加载到目标数据库中。下面是 Informatica PowerExchange 的原理和 Oracle 配置。 工作原理 Informatica ...