`
luoxiaohui_java
  • 浏览: 13428 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

采用Informatica作异构数据源间数据的迁移

阅读更多
1.名词释义

异构数据源:  源和目标库属于不同的数据库产品。此例子中源库为Oracle,目标库为DB2。
PowerCenter:  ETL工具,擅长做异构数据源的数据清洗、转换、转载,可以做Node集群。

2.场景
使用Informatica工具的抽取和装载功能实现异构平台数据的迁移。

3.遇到的问题总结
3.1 PowerCenter无法连接抽取库。
1)错误日志与截图



2)原因分析

以上错误是因为安装Informatica的服务器没有安装Oracle的客户端,PowerCenter无法找到相应的驱动文件。

3)解决思路
a.在安装Informatica服务端的机器上安装Oracle的客户端,修改tnsname.ora文件添加源库的连接
b.修改Informatica安装用户(infa)的.profile文件,添加其对Oracle的支持;
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/xe
export ORACLE_SID=XE
export NLS_LANG=`$ORACLE_HOME/bin/nls_lang.sh`
export PATH=$ORACLE_HOME/bin:$PATH 

特别提醒: 建议将以上内容直接贴在.profile文件中,试过采用文件的形式引入Informatica无法识别。

c.将infa添加至Oracle的管理员组(dba)
usermod -G dba infa

d.修改软连接文件 libclntsh.so.10.1 (可选,当服务器安装的Oracle客户端为11g版本时修改)
进入/u01/app/oracle/product/11.2.0/xe/lib目录,将libclntsh.so.10.1的软连接路径指向libclntsh.so.11.1。
查看命令ls *libclntsh.so*


3.2 数据库迁移过程中事务日志文件写满工作流报错
1)错误日志与截图






2)原因分析


因为事务日志文件写满,导致事务日志无法写入并提交。

3)解决思路
修改目标库DB2的事务日志文件大小和个数。
update db cfg for cwjs using LOGFILSIZ 8192 -- 每个日志文件的大小
update db cfg for cwjs using LOGPRIMARY 10  -- 主日志文件的个数
update db cfg for cwjs using LOGSECOND 20   -- 第二日志文件的个数



另:
Informatica可以通过在Session中给TargetTableName指定带模式名的表名来实现对不同模式的访问。

附图



  • 大小: 25 KB
  • 大小: 87.5 KB
  • 大小: 20.9 KB
  • 大小: 9.5 KB
  • 大小: 14.1 KB
  • 大小: 12.8 KB
分享到:
评论

相关推荐

    Informatica PowerCenter 数据联合选项

    虚拟数据集成(Virtual Data Integration, VDI)是一种新兴的数据集成技术,它允许用户通过虚拟化的方式直接从各种异构数据源中访问数据,而无需将数据物理移动到中央数据存储。这种方式可以快速地访问最新的实时...

    异构数据导入oracle方法

    此外,ETL(Extract, Transform, Load)工具如Informatica和Datastage也是常用的选择,它们支持从各种数据源抽取数据并转换后加载到Oracle。通过ODBC(Open Database Connectivity)也可以实现导入,但这需要安装...

    informatica.zip

    除了 PowerCenter,Informatica 还提供了其他产品,如 Informatica MDM(主数据管理)、PowerQuery(快速数据集成)、PowerExchange(异构数据交换)、Repository Manager(用于管理元数据)等,构建了一个全面的...

    Informatica 技术解决方案

    - **灵活性**:支持多种数据源和目标,适应不断变化的企业需求和技术环境。 - **高性能**:通过并行处理和优化算法,确保在大规模数据处理时保持高效。 **2.2 设计理念的符合性** - **合规性**:满足数据治理和...

    商业智能-cognos informatica

    Informatica负责从各种异构数据源抽取数据,清洗并转换成统一格式,然后Cognos则利用这些整合后的数据生成报表、仪表板和分析模型,为决策者提供实时、准确的业务视图。这种结合使得企业在数据分析方面拥有更高的...

    Informatica风险和合规性管理解决方案

    数据虚拟化是Informatica解决方案的一个亮点,它允许实时集成来自多个异构数据源的信息,无需实际迁移或整合数据。这加速了数据交付,提升了合规性报告的质量,同时减少了风险。 实时风险管理是Informatica解决方案...

    Informatica PowerCenter V7.1.2功能特性介绍

    XML 文件作为一种结构化数据格式,Informatica PowerCenter V7.1.2支持将其作为数据源或目标,这对于集成异构系统特别有用。 #### 11. UNION 组件:合并同结构数据集 **UNION 组件** 可以用来合并具有相同结构的...

    行业分类-设备装置-一种多源数据集成平台及其构建方法.zip

    在IT行业中,数据集成平台是连接不同数据源并实现数据整合、转换和管理的关键技术。本文将详细讨论“一种多源数据集成平台及其构建方法”,该主题涉及到的主要知识点包括: 1. **多源数据集成**:多源数据集成是指...

    ETL工具77项参数对比大全.pdf

    本篇将对比分析三款主流的ETL工具——Informatica、Datastage和BeeDI,探讨它们在市场占有率、服务支持、平台兼容性、数据源与目标数据库支持、数据抽取、转换和装载功能等方面的差异。 首先,从市场角度来看,...

    mysql-oracle数据同步

    3. **数据库复制服务**:Oracle数据库提供GoldenGate,它可以实现异构数据库间的实时数据复制。MySQL也有类似的InnoDB Replication,但跨数据库平台需借助第三方工具。 4. **使用中间件**:例如阿里云DataHub、...

    ETL架构师面试题

    7 异构数据源中的数据抽取技术包括接口程序、ETL 工具和数据复制软件等,它们能处理不同数据格式和接口,但可能需要较高的定制化工作。 8 从 ERP 源系统中抽取数据通常采用专门的 ETL 工具,如 Informatica、SSIS ...

    ETL_面试资料

    2. 异构数据源中的数据抽取技术涉及多种方法,如SQL查询、API接口、ETL工具的特定适配器、文件导入导出等。这些技术需要根据源系统的特性和数据格式进行选择。 3. 数据质量检查通常分为四类:准确性、完整性、一致...

    BI项目中ETL设计与思考.docx

    对于文件格式的数据源,如.txt或.xls,可以通过培训业务人员或使用专门工具将其导入到ODS(操作型数据存储)。此外,为了优化效率,还需要考虑增量更新策略,例如基于业务系统的时间戳来只抽取新的或更新的数据。 2...

    elt学习资料

    在学习过程中,你需要掌握如何有效地从不同数据源获取数据,理解SQL查询语言,以及如何处理异构数据源。 2. **数据清洗(Transform)**:提取的数据往往存在不一致、重复、错误等问题,因此需要进行清洗。数据清洗...

    SSIS起步教程

    ETL流程的核心在于将分散的、异构的数据源统一起来,经过预处理,使其符合数据仓库的要求。这一过程包括: 1. **数据抽取(Extraction)**:从多个源系统收集数据,可能涉及全量或增量抽取。 2. **数据转换...

    BI基础知识测试及答案

    1. 数据仓库是BI的基础,它整合来自多个源的异构数据,形成一个统一的、面向主题的数据集合,以便于分析。数据仓库的技术主要包括数据抽取、转换和加载(ETL)、数据清洗、数据存储和数据管理。 2. 数据抽取是BI...

    PowerCenter811基础培训资料

    它以可视化的方式提供了ETL(Extract, Transform, Load)功能,帮助用户从各种异构数据源抽取数据,进行清洗、转换,并加载到目标系统中。PowerCenter 8.1.1是其较早的一个版本,尽管如此,它仍包含了完整的数据集成...

    信创 国产替代之- 基础软件中间件 ETL工具BeeDI 产品 源自2010年~ 持续升级至最新版本 V11.0

    2. **数据联邦**:通过数据联邦功能,BeeDI可以整合来自多个异构数据源的数据,构建虚拟数据视图,提升数据的可用性和一致性。 3. **数据同步**:支持实时或批量的数据同步,确保不同系统间数据的即时更新和一致性...

    ETL中E-L-T架构特点、局限与缺陷.pdf

    但随着技术的发展,还有一种新的架构——ELT(Extract-Load-Transform)架构开始流行,其特点是从数据源直接抽取数据并加载到目标系统(如数据仓库),然后在目标系统中进行转换处理。这两种架构各有优劣,并且在...

Global site tag (gtag.js) - Google Analytics