数据实时复制任务的成与败,取决于多方面的因素,例如:被复制数据本身情况,源系统和目标系统的自身运行状况,网络通讯方面,系统架构设计和实施人员专业技术水平等等。面对复杂而艰巨的任务,IBM 公司专业化实施团队积累了丰富的经验,以下是我们这次分享的 IBM InfoSphere CDC性能调优的重点内容。
1. 明白数据复制的需求和使用场景
改善并提升数据复制作业性能是双向互动的操作,以满足业务需求和目标为根本出发点,其原因是:
- 当对某个运行进程作了调优,并解决了该方面的性能瓶颈后,可能在该进程的上游或下游地方,又产生了新的性能瓶颈,让你很难能做到调整某一部分,就能解决性能上存在的全部问题。
- 数据复制过程中,业务运作在不同时间段内会有不同的要求,并不是一成不变的。例如:在业务交易时间段,数据实时变更频繁,对 CDC 时延(Data Latency)要求较高,才能达致业务目标;但是,在业务日终结算处理时间段,则更多地聚焦于海量数据的后期加工和批量处理,反而对 CDC 时延(Data Latency)要求较低。
因此,我们在优化数据复制的作业运行性能时,一切以业务需求为目标,采取合适手段来解决问题。否则,难以两全其美,还影响业务运作。
2. 监控总体性能情况
在确定调优方案前,需要监察 CDC 数据复制作业的总体性能状况,其中包括:
CDC DataStore 健康状况。
CDC进程运行时内存的使用情况,占用率最高达 70%左右为最佳
利用 CDC Management Console探测潜在的性能瓶颈
以下例子,其监控信息结果说明了目标端系统是性能瓶颈,数据从源系统复制传送速度快于目标系统的处理速度。
3. 收集作业运行统计信息以进行分析
IBM CDC 提供了全面收集作业运行过程中性能明细信息的有效手段,以下是以复制 Oracle 数据库数据的作业为例子,所收集的信息种类和手段。
4. 完成性能调优任务
根据上述的复制Oracle 数据库数据的作业为例子,确定调优的方法如下。
该策略为:
- 在源系统保持捕获合理的数据增量和传送数据量 batch size;
- 在目标系统调整合理的更新数据量 batch size,并仅对变化的字段进行更新(缺省是全部字段更新),以发挥最大处理性能;
- 需要有丰富数据库性能调优经验和 IBM CDC 工具熟练使用技巧。
5. 评估性能优化结果
IBM CDC 作业调优前,其运行结果:
从上图信息可发现:数据从源系统不断地快速复制传送到目标系统,但是目标系统性能存在瓶颈,时延不断地增大到最高峰值而没回落,直到数据复制快结束时才开始回落。
IBM CDC 作业调优后,其运行结果:
从上图信息可发现:目标系统 CPU资源使用率明显地比源系统高得多,数据库性能得以充分发挥。数据复制的时延不算高,平均值和峰值差距不大。因此,CDC 作业调优工作是富有成效的。 相对比其他友商的测试结果, IBM CDC 综合能力和主要功能都稍胜一筹。如果有兴趣想了解更多的 IBM CDC数据复制技术及经验,请参阅:http://bigdata.evget.com/
相关推荐
技术部研发团队技术干货分享:后台开发经验分享
技术部研发团队技术干货分享:SpringMVC学习分享
技术部研发团队技术干货分享:Java虚拟机.
干货分享:B端产品该怎么做竞品分析?.pdf
某香港大神的程序化交易干货分享: 1. 如何分解某个指标? 2. 如何利用标准化指标使参数自适应? 3. 如何利用价格维度而不是时间维度来排除市场噪音? 4. 如何围绕一个成本中枢来寻找不同形态结构? 5. 如何构造双...
干货分享:微信积分墙将掀起推广革命?看微信积分墙如何虎口夺食!整理.pdf
### 2019国考申论解题干货分享:贯彻执行题如何抓重点 #### 一、引言 在公务员考试中,申论部分往往考验考生的文字组织能力与问题解决能力,其中“贯彻执行题”是较为常见且难度较高的题型之一。这种题型不仅要求...
"实操干货分享:B端硬件产品如何做行业分析&竞品分析?" 通过本文,我们可以看到作者分享了自己的经验,讲解了如何对B端硬件产品进行行业分析和竞品分析。作者认为,对于B端硬件产品的竞品分析,需要关注行业和方案...
有源光缆(AOC,Active Optical Cable)是现代数据中心和高性能计算中心中不可或缺的互连技术,尤其在高速光互连时代,它扮演着重要角色。AOC 是一种集成的光通信系统,包含了光收发器(Transceiver)和光缆跳线...
本文将深入探讨这些知识点,帮助理解和提升网站的整体性能。 首先,我们要理解主页设计的十二个重要任务。这十二个任务不仅是用户体验的良好保证,也是维护公司利益和延续行业用户习惯的关键: 1. **体现站点的...
等保干货:等保2.0 安全设备清单汇总.pdf等保干货:等保2.0 安全设备清单汇总.pdf等保干货:等保2.0 安全设备清单汇总.pdf等保干货:等保2.0 安全设备清单汇总.pdf等保干货:等保2.0 安全设备清单汇总.pdf等保干货:...
### 干货分享:股票分时图成交量经典形态 #### 一、攻击量(旱盘攻击量、尾盘攻击量) 1. **形态特征** 在一段时间内,成交量持续放大,量柱由低到高甚至成倍集中放大,呈现出类似井喷的形态。 2. **形成原因**...
- 儿歌《小雪花》:除了教唱,还可以通过表演和创编活动,让幼儿感受冬天的乐趣,培养音乐感知能力。 - 诗歌《江南》:配插画可以帮助幼儿理解诗歌意境,同时引导他们尝试自己创作诗歌。 - 儿歌《谁的耳朵》:...
这篇文档分享了APP运营策略,特别是如何将日活跃用户从0增长到50万的经验。以下是从内容中提炼出的关键知识点: 1. **十模式**:这是一个产品设计理念,强调每天只提供十条内容,以保持用户的专注度和新鲜感。这种...
比如,对于零售行业中的客流分析与轨迹热力产品,其动态人脸识别、高底库实时比对识别及人员属性识别等功能,都依赖于先进的AI技术。因此,竞品分析时不仅要看硬件本身,还要看其背后的整体解决方案和服务。 在分析...
在数据充分性题中,即使条件看似无关,也要检查是否能单独推导出结论。 这些题目涵盖了GMAT数学部分的多个核心概念,包括数论、几何、概率、代数和逻辑推理。解答这些问题需要扎实的数学基础,以及快速准确地应用...
本文将针对给出的GMAT数学经典练习题进行解析,帮助你理解涉及的核心知识点。 1. **三角形性质**: - 题目5询问了一个包含60度和45度角的三角形的边长。利用三角形内角和为180度,可以确定第三个角为75度。根据...
总结来说,GMAT数学部分需要考生熟练掌握指数运算、代数技巧、速度时间距离的关系、概率计算以及方程解的存在性判断等基本概念,并具备逻辑推理和数据分析能力。通过这样的练习题,考生可以提高对这些概念的理解和...
- 问题8要求找到一组数据的标准方差变化后,某个特定值的最大可能值。这需要熟悉标准差的计算公式并进行适当变换。 8. **组合问题**: - 问题9是关于组合的选择,甜点组合的数量可以通过组合公式来计算,体现了...