- 浏览: 65397 次
- 性别:
- 来自: 上海
最新评论
以下提到的Session log,是指在这个$PMRootDir/SessLogs目录下对应着每个运行的session都有一个以.bin结尾的二进制文件,在查看的时候用strings这个命令
用线程统计定位瓶颈:默认情况下infa会分配:一个read线程,一个transformation线程,一个write线程,来处理一个session,这些都可以在Session log中查看:
run time:线程运行时间
Idle time:线程空闲时间
Busy time: 线程忙的时间(是个比列)
Thread work time:处理某个transformation用的百分比。
排除基于线程的瓶颈:1.在read和write 线程中busy占的时间比较高时,可用string这种数据类型来对源和目标进行处理,因为处理非string时需要更多的时间。2.在transformation线程busy占的时间比较高时,可用增加partition point来进行处理,当你每增加一个partition,会多分配一个transformation线程来处理数据(这也要考虑系统的环境)。3.当某个transformation组件的处理时间超过其它的组件很多的处理时间时,可以考虑增加partition来对其进行处理。
很悲剧的是,我在8.5.1里面好像没能准确到某个transformation组件,找不到breakdown的等信息?
写数目标瓶颈:通常造成写数目标瓶颈有都是写入数据库:小的checkpiont间隔,小数据库网络包,系统负载过重。找出写瓶颈:可以把目标直接设成写文件模式,这时要是速度快很多,表明是有写数据瓶颈,可以查看session log如果write 时间明显超过转换或读的时间,也表明有。大致的解决思路,DBA帮你优化数据库,数据库查询,增加网络包大小,建立索引,和主键等。
读源数据瓶颈:主要有低效的查询,数据网络数据包配置的较小
找出读瓶颈:可以查看session log如果read时间明显超过转换或写的时间,也表明有该瓶颈。用Filter transformation查出,在这个组件中把condition直接设为false假如速度还是很慢,说明read有瓶颈。去掉其它多余的组件直接写入文本中,看速度如何。还是较慢,说明有问题。直接在log文件中把生成的sql代码放到数据库中执行,看速度如何解决办法:假如是从数据文件中读取,调整每行的字节数对数据库进行优化,增加数据库的网络包大小,建立索引,和主键,还可以告诉数据库sql的按照自己执行计划等。
Mapping瓶颈:当transformation线程这个线程明显高于读,写线程的时间时,或者在某一个transformation组件上花费了较多时间时,瓶颈极有可能是在transformation线程上查看session log 分析性能计数器。errorrows rowsinlookupcache计数器显示很高,也表明是这个瓶颈。还可以这样,直接在写入时加上一个filter,条件为false,看比原先的执行速度没有明显的提高说明存在这个瓶颈。
Session瓶颈:这个主要是监控session log文件中的信息,主要监控input rows, output rows, and error rows这些数据。
系统瓶颈:infa在执行Aggregator, Joiner, Lookup, Sorter, XML, and Rank这些组件时,这些在系统分配的时候同样在Session log里面都有了详细的记录,都是要利用系统空间来创建cache文件的,当然cpu Memory usage,Swap usage.磁盘的占用空间都是要实时进行监控的。
用线程统计定位瓶颈:默认情况下infa会分配:一个read线程,一个transformation线程,一个write线程,来处理一个session,这些都可以在Session log中查看:
run time:线程运行时间
Idle time:线程空闲时间
Busy time: 线程忙的时间(是个比列)
Thread work time:处理某个transformation用的百分比。
排除基于线程的瓶颈:1.在read和write 线程中busy占的时间比较高时,可用string这种数据类型来对源和目标进行处理,因为处理非string时需要更多的时间。2.在transformation线程busy占的时间比较高时,可用增加partition point来进行处理,当你每增加一个partition,会多分配一个transformation线程来处理数据(这也要考虑系统的环境)。3.当某个transformation组件的处理时间超过其它的组件很多的处理时间时,可以考虑增加partition来对其进行处理。
很悲剧的是,我在8.5.1里面好像没能准确到某个transformation组件,找不到breakdown的等信息?
写数目标瓶颈:通常造成写数目标瓶颈有都是写入数据库:小的checkpiont间隔,小数据库网络包,系统负载过重。找出写瓶颈:可以把目标直接设成写文件模式,这时要是速度快很多,表明是有写数据瓶颈,可以查看session log如果write 时间明显超过转换或读的时间,也表明有。大致的解决思路,DBA帮你优化数据库,数据库查询,增加网络包大小,建立索引,和主键等。
读源数据瓶颈:主要有低效的查询,数据网络数据包配置的较小
找出读瓶颈:可以查看session log如果read时间明显超过转换或写的时间,也表明有该瓶颈。用Filter transformation查出,在这个组件中把condition直接设为false假如速度还是很慢,说明read有瓶颈。去掉其它多余的组件直接写入文本中,看速度如何。还是较慢,说明有问题。直接在log文件中把生成的sql代码放到数据库中执行,看速度如何解决办法:假如是从数据文件中读取,调整每行的字节数对数据库进行优化,增加数据库的网络包大小,建立索引,和主键,还可以告诉数据库sql的按照自己执行计划等。
Mapping瓶颈:当transformation线程这个线程明显高于读,写线程的时间时,或者在某一个transformation组件上花费了较多时间时,瓶颈极有可能是在transformation线程上查看session log 分析性能计数器。errorrows rowsinlookupcache计数器显示很高,也表明是这个瓶颈。还可以这样,直接在写入时加上一个filter,条件为false,看比原先的执行速度没有明显的提高说明存在这个瓶颈。
Session瓶颈:这个主要是监控session log文件中的信息,主要监控input rows, output rows, and error rows这些数据。
系统瓶颈:infa在执行Aggregator, Joiner, Lookup, Sorter, XML, and Rank这些组件时,这些在系统分配的时候同样在Session log里面都有了详细的记录,都是要利用系统空间来创建cache文件的,当然cpu Memory usage,Swap usage.磁盘的占用空间都是要实时进行监控的。
发表评论
-
Kettle学习
2013-11-10 20:55 01、资源库:(元数据) 2、数据库连接(异构的数据源连接) 3 ... -
Informatica transformations优化
2011-11-15 14:17 1536Optimizing Aggregator Transform ... -
Informatica aix服务端,windows客户端安装手册
2011-10-24 15:37 1341Informatica8.5.1服务端在AIX服务器上,客 ... -
Informatica 运用Debug调试
2011-10-17 14:35 2415在开发的时候,总是少不了要出错进行调试,informati ... -
Informatica 更换License
2011-10-08 15:01 3498因为在做Informatica 的升级,还没有正式的买Li ... -
Informatica 更换License
2011-10-08 14:57 0因为在做Informatica 的升级,还没有正式的买Li ... -
Informatica 8.5.1升级8.6.1
2011-09-29 12:00 1983前段时间一直在忙Informatica 8.5.1升级到8.6 ... -
Informatica Schedule元数据信息
2011-09-28 11:01 1798近日,被问及Informatica 的Scheduler ... -
Informatica Schedule元数据信息
2011-09-27 14:34 3对应着rep_all_schedulers这个view的中Ru ... -
Informatica Schedule调用还是shell调用
2011-09-26 15:12 4097首先介绍下Infomatica Wo ... -
Informatica Infasetup命令简单说明
2011-09-23 14:44 4178当前,大部分的公司使用的Informatica,任然是8.5. ... -
Informatica 日志管理
2011-09-23 10:51 4577前一段时间一直在忙Informatica 升级的事情,现在 ... -
Informatica数据加载机制
2011-09-22 16:52 4404很长一段时间,对info ... -
Informatica 安装用户元数据解析
2011-07-19 15:21 3721OPB_ATTR : INFORMATICA (Designe ... -
informatica workflow调用shell脚本以及返回状态参数处理
2010-11-01 17:59 6008informatica,用shell脚本调用workflow, ... -
Informatica aix服务端,windows客户端安装手册
2010-10-25 08:44 124整了一整天,最终写完了这个完整,详细的安装手册呀。 -
pmcmd
2010-10-11 17:09 213pmcmd命令 可以对Workflow调度做控制;停止Info ... -
Informatica pmcmd命令执行时出错 not load
2010-10-11 16:30 1830在AIX系统中执行PMCMD的结果如下: $pmcmd Co ... -
informatica 资料学习转载
2010-09-13 10:04 4555Informatica简明使用手册 ...
相关推荐
可以采用二分法或排除法找出性能瓶颈。通常,分析Transformation之间的数据流和计算密集度有助于定位问题。 3. **系统性能平衡**: - 性能优化不仅限于Informatica本身,还包括与之交互的数据库和硬件资源。理想...
Informatica性能调优旨在消除系统中的性能瓶颈,以实现整体性能的最佳状态。这一过程通常包括识别瓶颈、采取优化措施,以及不断迭代,直至满足预期的性能需求。 系统性能优化是一个全局性的工作,需要平衡应用软件...
【Informatica性能调优初级要点】 Informatica性能调优是一个复杂的过程,涉及到多个层面的考虑。以下是一些初级调优的要点,可以帮助你提升Informatica的处理效率。 1. **利用数据库进行数据处理**: - 利用...
性能调优是确保Informatica项目高效运行的关键部分,特别是对于初学者来说,了解并掌握这些调优技术至关重要。以下将从多个方面详细解释如何对Informatica进行初级性能调优。 首先,要理解性能调优的宏观概念。这些...
7. **数据流分析**:使用Informatica的Data Profiling功能,对数据进行分析,了解数据质量,找出潜在的性能问题。 8. **版本控制与维护**:保持映射和工作流的整洁,定期进行代码审查,避免因版本混乱导致的性能...
3. **问题诊断**:如果在调试过程中发现数据不正确或转换错误,可以通过查看错误日志、数据预览和变量值来找出问题原因。 ### 四、Debug调试技巧 1. **有策略地设置断点**:根据问题定位的需求,合理设置断点,如...
Informatica Partition 是一种优化数据处理性能的机制,它允许一个 Session 在执行时使用多线程,从而提高数据加载的速度和效率。默认情况下,每个 Session 只有一个 Partition,但通过增加 Partition 数量,可以...
A:Informatica 提供了一定时期的免费试用版本,可以让用户在购买前充分了解产品的功能和性能。详情请咨询官方网站。 ### 结语 Informatica 10.4.1 是一款功能强大且易于使用的数据集成解决方案。它不仅能够帮助...
使用存储过程可以提高数据库的安全性、可靠性和性能。 Informatica 调用存储过程的步骤 1. 新建一个 Mapping:在 Informatica 中,创建一个新的 Mapping,用于调用存储过程。Mapping 是 Informatica 中的一种数据...
Informatica 连接 Mysql 数据库案例 Informatica 是一个功能强大的数据集成平台,支持多种数据源的连接和集成,本文档将详细介绍 Informatica 连接 Mysql 数据库的步骤和配置。 Informatica 连接 Mysql 数据库的...
Informatica 是一款强大的数据集成工具,主要用于数据提取、转换和加载(ETL)过程。它为企业提供了一套全面的数据管理解决...在实际应用中,Informatica 的易用性、性能和可扩展性使其成为企业级数据管理的首选工具。
Informatica 10.2.0 安装和配置指南 Informatica 10.2.0 是一款功能强大的数据集成工具,广泛应用于企业数据集成、数据迁移和数据同步等领域。下面是 Informatica 10.2.0 的安装和配置指南: Informatica 10.2.0...
### Informatica性能调优(中级) #### 概述 在ETL开发过程中,经常会遇到mapping运行速度过慢的问题,这不仅影响数据加载效率,还可能导致数据处理延误,进而影响业务决策。因此,对Informatica进行性能调优是至关...
1. **性能监控与诊断**:性能调优的第一步是监控系统的运行情况,识别瓶颈。通过Informatica Administrator和Performance Monitor,可以收集并分析作业运行时间、内存使用、CPU占用率等关键指标。 2. **工作负载...
4. **问题4:如何优化Informatica PowerCenter的性能?** - **解答**: - **合理设计映射**:避免使用复杂的嵌套函数和过多的转换操作。 - **利用并行处理**:通过增加线程数来提高数据处理速度。 - **使用分区*...