Informatica数据抽取工具

公司介绍

　　创立于 1993 年，总部位于 Palo Alto, California of USA 的 Informatica （ Nasdaq:INFA ）公司，作为电子商务分析型软件市场的领先者，一直致力于通过自身的产品和服务提升企业的竞争性优势。其拳头产品 Informatica Insight Network(Infrastructure and Analytics) 已被全球 1 ， 800 多家企业用来集成、分析和个性化企业的关键商务信息，优化整个商务价值链的表现和响应速度。拥有包括 Citigroup, Deutsche Bank, AT&T, British Telecom, Motorola, Cisco, HP, Boeing, National Semiconductor, Timer Warner, News Group 在内的广泛的客户群。

　　Informatica 作为电子商务分析软件，数据集成和分析型应用解决方案提供商，拥有包括分析型应用软件、广泛的支持服务和强大的数据集成平台在内的综合性产品家族。 Informatica 的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点，并广泛支持来自 Informatica 和其他的领先智能商务提供商的数据仓库基础设施和分析型应用软件的开发和管理。

　　Informatica 的分析型应用软件也是建立在数据集成平台之上，旨在为企业解决任何可能出现的有关相关性、性能、瓶颈、战略和其他的种种问题。

一、总体概述

　　ETL 包括 Extract 、 Transform 、 Cleaning 和 Load ，它是用于从生产库中提取数据到数据仓库中，再由具体的报表、统计、分析工具对数据仓库的内容进行分析，分析出自己所需要的数据。

　　其中 ETL 培训的内容是如何利用 Informatic PowerCenter 把源数据库的内容提取存放到目标数据库中。主要

　　Informatic 主要包括四个部分： Client ， Reposity Server ， Reposity Database 和 Informatic Server 每个部分实现自己的功能。

二、系统体系结构

　　此部分介绍了 Informatic ETL 工具包括的主要内容。

1.Client

　　Informatic Client 主要有五个部分。 Client 可以和 Reposity 分离，通过 TCP/IP 连接，连接到远程的 Reposity Server 。

2. Reposity Manager

　　主要用于进行一个 Reposity 库的管理，当用户使用 Client 工具登录一个 Reposity 服务器之后，进行文件夹权限的创建，用户权限、密码的管理等。

3. Designer

　　主要是进行数据抽取的转换工具的设计，主要是 mapping 的设计、设计源数据库的结构，目标数据库的结构，然后设计把源数据导入到目标数据库中，所需要进行的转换操作（ Transformation ）。

　　同一个 Reposity 的 folder 之间可以建立 shortcut 方式，多个 reposity 的 folder 之间只能做拷贝。

4. Workflow Manager

　　主要用于流程任务（ workflow Task ）的设计。

　　进行任务流程的设计、每一个 Tast 针对一个 Session ，一个 session 针对一个 mapping ，其中 workflow 中的 Folder 和 Designer 中的 folder 相对应的关系。一版来说，用户都是建立自己的 Folder 。

5. Workflow Monitor

　　主要进行流程运行、及任务运行时的流程运行情况跟踪。可以跟踪日志。包括 Session 日志和 Workflow 日志，可以设置生成日志的循环个数。分析 session 运行是对源数据库的数据抽出信息和对目标数据库的更新信息。

6. Reposity Server Application Console

　　主要进行 Reposity 的管理，包括 Reposity Server 的 start ， shutdown 操作。进行 Reposity 库的 backup 、 restore 等操作，进行 Reposity 库级别的管理，级别较高。

7. Reposity Server

　　Reposity server 是为客户端服务的，客户端可以和各种 client 不在一台服务器上。关于数据抽取的设计成果转换成为 XML 格式的源数据，都是通过 Reposity Server 存放到 Reposity Database Server 上的。

8. Reposity Database Server

　　用于存放的是进行 ETL 设计的元数据。可以支持各类的数据库。方式为数据库中用户的一个表目录和用户关系即可。

　　Reposity Database 可以和 Reposity server 不安装在一台服务器。如果在一台机器上， server 通过 native 方式连接到 database ，如果不在一台及其上，需要在 database 上安装一个 reposity agent ，用户通过 agent ，以 native 方式连接到 reposity 数据库，然后 reposity agent 再以 tcp/ip 方式连接到 reposity server 。

9.Informatic Server

　　Informatic server 是实际执行数据抽取任务的运行环境。即 workflows 、 task 、 sessions 等。它是根据定义的 workflow 元数据库，然后在自己的实际环境中，执行数据抽取操作。

三、系统组件功能

　　Informatic 的功能主要体现在 Designer 和 Workflow Manager 上，其中 Designer 实现的是对数据抽取的数据转换方式设计，以及效率设计目标等。而在 Workflow Manager 中再把具体的数据转换方式应用到一个具体的工作任务中，包括目标库、源库的选择，以及一条具体的执行任务的属性设置等等。包括任务的 insert 、 truncate 、 delete 、 increment insert 等。

1.Designer 组件

（ 1 ）工作区

　　在 Designer 中，涉及到的工作区主要包括有 Source Analyzer 、 Warehouse Designer 、 Transformation Designer 、 Mapplet Designer 和 Mapping Designer 。

　　其中每个工作区的功能分别介绍：

Source Analyzer ：

　　Source Analyzer 的功能是实现对源数据库表的设计，可以手工的进行源数据库的设计，一般都是通过从 Flat File 或者 Relation DBMS 中导入数据库的表结构。 XLS 文件结构。

Warehouse Designer

　　用于设计目标数据库库的结构，可以利用手工设计，也可以利用 import 工具导入导一个 warehouse 的结构。

Transformation Designer

　　用户设计可重用的 transformation 组件，这里的组件，在一个 folder 里面都是可以重用的，而且以 shortcut 的方式使用。 Transformation 组件的修改，会直接反映到使用此 transformation 的 mapping 中。

Mpplet

　　设计可以重用的多个组件，只要有 output 组件，可以有 input 组件，也可以没有 input 组件，实现的功能就和一个 expression 的功能类似，实现功能。

Mapping Designer

实现的功能是设计具体进行抽取数据的 mapping ，这些 mapping 应用到一个 workflow 中，形成了 workflow 的一个 session （ task ）。

（ 2 ） 组件功能

　　ETL 支持的组件主要包括两类： Active 组件和 Passive 组件，其中 Active 组件是对输入记录集在输出时个数有变化的组件， Passive 组件，输入的记录集，输出时记录集的个数不发生改变。

Informatic 提供的组件包括：

(1) Source Qualifier: reads data from flat file & relational sources

(2) Expression: performs row-level calculations

(3) Filter: drops rows conditionally

(4) Sorter: sorts data

(5) Aggregator: performs aggregate calculations

(6) Joiner: joins heterogeneous sources

(7) Lookup: looks up values and passes them to other objects

(8) Update Strategy: tags rows for insert, update, delete, reject

(9) Router: splits rows conditionally

(10) Sequence Generator: generates unique ID values

(11) Normalizer:izes records from relational or VSAM sources

(12) Rank: filters the top or bottom range of records

(13) Union : merges data from multiple pipelines into one pipeline

(14) Transaction Control: allows user-defined commits

(15) Stored Procedure: calls a database stored procedure

(16) External Procedure : calls compiled code for each row

(17) Custom: calls compiled code for multiple rows

(18) Midstream XML Parser: reads XML from database table or message queue

(19) Midstream XML Generator: writes XML to database table or message queue

　　每一类组件都有自己独特的功能和特点，这里介绍主要的组件包括上述红色的内容。每一种组件的详细功能这里不详细介绍。

2.Workflow 组件

　　Workflow 是对执行任务的执行进行控制，可以在执行时对执行的任务进行传参数进行传入，这样就能在执行的时候把数据库表进行动态的设置。

　　可以在执行的时候选择参数文件，对 mapping 、 workflow 中的 Session 的参数进行传入。达到动态执行的目的。

　　Workflow 中定义 workflow 、 session 等任务，对这些任务的执行进行管理控制。

四、补充说明

Source Qualifier 支持同构数据源的连接，衣钩数据源的连接通过 N-1 个 jointer 组件实现。
Lookup 为 passive 组件，查出的多条记录集，要么取 first ，或者 last ，或者报错。
Lookup 可以时动态 / 静态 ，可以 connected/unconnect 。