1.名词释义
异构数据源: 源和目标库属于不同的数据库产品。此例子中源库为Oracle,目标库为DB2。
PowerCenter: ETL工具,擅长做异构数据源的数据清洗、转换、转载,可以做Node集群。
2.场景
使用Informatica工具的抽取和装载功能实现异构平台数据的迁移。
3.遇到的问题总结
3.1 PowerCenter无法连接抽取库。
1)错误日志与截图
2)原因分析
以上错误是因为安装Informatica的服务器没有安装Oracle的客户端,PowerCenter无法找到相应的驱动文件。
3)解决思路
a.在安装Informatica服务端的机器上安装Oracle的客户端,修改tnsname.ora文件添加源库的连接
b.修改Informatica安装用户(infa)的.profile文件,添加其对Oracle的支持;
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/xe
export ORACLE_SID=XE
export NLS_LANG=`$ORACLE_HOME/bin/nls_lang.sh`
export PATH=$ORACLE_HOME/bin:$PATH
特别提醒: 建议将以上内容直接贴在.profile文件中,试过采用文件的形式引入Informatica无法识别。
c.将infa添加至Oracle的管理员组(dba)
usermod -G dba infa
d.修改软连接文件 libclntsh.so.10.1 (可选,当服务器安装的Oracle客户端为11g版本时修改)
进入/u01/app/oracle/product/11.2.0/xe/lib目录,将libclntsh.so.10.1的软连接路径指向libclntsh.so.11.1。
查看命令ls *libclntsh.so*
3.2 数据库迁移过程中事务日志文件写满工作流报错
1)错误日志与截图
2)原因分析
因为事务日志文件写满,导致事务日志无法写入并提交。
3)解决思路
修改目标库DB2的事务日志文件大小和个数。
update db cfg for cwjs using LOGFILSIZ 8192 -- 每个日志文件的大小
update db cfg for cwjs using LOGPRIMARY 10 -- 主日志文件的个数
update db cfg for cwjs using LOGSECOND 20 -- 第二日志文件的个数
另:
Informatica可以通过在Session中给TargetTableName指定带模式名的表名来实现对不同模式的访问。
附图
- 大小: 25 KB
- 大小: 87.5 KB
- 大小: 20.9 KB
- 大小: 9.5 KB
- 大小: 14.1 KB
- 大小: 12.8 KB
分享到:
相关推荐
虚拟数据集成(Virtual Data Integration, VDI)是一种新兴的数据集成技术,它允许用户通过虚拟化的方式直接从各种异构数据源中访问数据,而无需将数据物理移动到中央数据存储。这种方式可以快速地访问最新的实时...
此外,ETL(Extract, Transform, Load)工具如Informatica和Datastage也是常用的选择,它们支持从各种数据源抽取数据并转换后加载到Oracle。通过ODBC(Open Database Connectivity)也可以实现导入,但这需要安装...
除了 PowerCenter,Informatica 还提供了其他产品,如 Informatica MDM(主数据管理)、PowerQuery(快速数据集成)、PowerExchange(异构数据交换)、Repository Manager(用于管理元数据)等,构建了一个全面的...
- **灵活性**:支持多种数据源和目标,适应不断变化的企业需求和技术环境。 - **高性能**:通过并行处理和优化算法,确保在大规模数据处理时保持高效。 **2.2 设计理念的符合性** - **合规性**:满足数据治理和...
Informatica负责从各种异构数据源抽取数据,清洗并转换成统一格式,然后Cognos则利用这些整合后的数据生成报表、仪表板和分析模型,为决策者提供实时、准确的业务视图。这种结合使得企业在数据分析方面拥有更高的...
数据虚拟化是Informatica解决方案的一个亮点,它允许实时集成来自多个异构数据源的信息,无需实际迁移或整合数据。这加速了数据交付,提升了合规性报告的质量,同时减少了风险。 实时风险管理是Informatica解决方案...
XML 文件作为一种结构化数据格式,Informatica PowerCenter V7.1.2支持将其作为数据源或目标,这对于集成异构系统特别有用。 #### 11. UNION 组件:合并同结构数据集 **UNION 组件** 可以用来合并具有相同结构的...
在IT行业中,数据集成平台是连接不同数据源并实现数据整合、转换和管理的关键技术。本文将详细讨论“一种多源数据集成平台及其构建方法”,该主题涉及到的主要知识点包括: 1. **多源数据集成**:多源数据集成是指...
本篇将对比分析三款主流的ETL工具——Informatica、Datastage和BeeDI,探讨它们在市场占有率、服务支持、平台兼容性、数据源与目标数据库支持、数据抽取、转换和装载功能等方面的差异。 首先,从市场角度来看,...
3. **数据库复制服务**:Oracle数据库提供GoldenGate,它可以实现异构数据库间的实时数据复制。MySQL也有类似的InnoDB Replication,但跨数据库平台需借助第三方工具。 4. **使用中间件**:例如阿里云DataHub、...
7 异构数据源中的数据抽取技术包括接口程序、ETL 工具和数据复制软件等,它们能处理不同数据格式和接口,但可能需要较高的定制化工作。 8 从 ERP 源系统中抽取数据通常采用专门的 ETL 工具,如 Informatica、SSIS ...
2. 异构数据源中的数据抽取技术涉及多种方法,如SQL查询、API接口、ETL工具的特定适配器、文件导入导出等。这些技术需要根据源系统的特性和数据格式进行选择。 3. 数据质量检查通常分为四类:准确性、完整性、一致...
对于文件格式的数据源,如.txt或.xls,可以通过培训业务人员或使用专门工具将其导入到ODS(操作型数据存储)。此外,为了优化效率,还需要考虑增量更新策略,例如基于业务系统的时间戳来只抽取新的或更新的数据。 2...
在学习过程中,你需要掌握如何有效地从不同数据源获取数据,理解SQL查询语言,以及如何处理异构数据源。 2. **数据清洗(Transform)**:提取的数据往往存在不一致、重复、错误等问题,因此需要进行清洗。数据清洗...
ETL流程的核心在于将分散的、异构的数据源统一起来,经过预处理,使其符合数据仓库的要求。这一过程包括: 1. **数据抽取(Extraction)**:从多个源系统收集数据,可能涉及全量或增量抽取。 2. **数据转换...
1. 数据仓库是BI的基础,它整合来自多个源的异构数据,形成一个统一的、面向主题的数据集合,以便于分析。数据仓库的技术主要包括数据抽取、转换和加载(ETL)、数据清洗、数据存储和数据管理。 2. 数据抽取是BI...
它以可视化的方式提供了ETL(Extract, Transform, Load)功能,帮助用户从各种异构数据源抽取数据,进行清洗、转换,并加载到目标系统中。PowerCenter 8.1.1是其较早的一个版本,尽管如此,它仍包含了完整的数据集成...
2. **数据联邦**:通过数据联邦功能,BeeDI可以整合来自多个异构数据源的数据,构建虚拟数据视图,提升数据的可用性和一致性。 3. **数据同步**:支持实时或批量的数据同步,确保不同系统间数据的即时更新和一致性...
但随着技术的发展,还有一种新的架构——ELT(Extract-Load-Transform)架构开始流行,其特点是从数据源直接抽取数据并加载到目标系统(如数据仓库),然后在目标系统中进行转换处理。这两种架构各有优劣,并且在...