-
数据同步之部、省、市逐级向上同步数据问题5
如题 市级向省级同步数据，省级向部级同步数据，
第二次同步时只同步修改或者新增的数据，求解决方案？
数据库结构统一，数据库均为Oracle11G r2.
[size=large][/size]2012年11月29日 10:27
添加评论
关注(4)6个答案 按时间排序 按投票排序
-
采纳的答案
LZ这种场景，属于分布式环境下的数据集成问题。据我理解，LZ现在主要面临的问题有：
1、捕获增量数据；
2、上报增量数据；
捕获增量数据：
增量数据一般分为三种，insert，update，delete，LZ的场景中，只捕获insert和update的数据，这种场景下，一般采用“时间戳增量抽取方案”：在业务表里建立一个时间戳字段，一般为时间类型，数据状态发生变化时，更新时间戳。抽取数据时，生成一个WHERE条件， WHERE 开始时间 <= 时间戳 < 结束时间。基本原理就是这样，如果LZ感兴趣，可以再细聊。
上报增量数据
获取到增量数据，不知道LZ的业务场景中网络的条件如何？
如果使用企业内部专网的话，可以使用GoldenGate，上面的朋友已经说过了；
如果使用互联网，不推荐使用GoldenGate，因为互联网固有的不稳定性，建议现将增量数据抽取成文件，一般是XML，压缩后，通过HTTP传输协议上传到上级，上级再将文件加载到数据库中。传输过程中，一定要考虑断点续传的问题。
以上，我想到的就是这些。供参考，谢谢！2012年11月30日 10:19
-
一个性能消耗比较大但可靠的方法
在要同步的表上建trigger, 记录下增 删 改的标记(如I D M)和主键ID到一张小表, 同步时按时间顺序把ID相同的操作做合并(一个ID一个操作), 最后把整体记录发送到目标机器上做更新.
如果不想用trigger, 可以采用应用上发送异步消息的方法,缺点是不可靠
还可以按时间戳把增量查出来做同步, 缺点是数据量大时不可行
还有一种方法是解析db的redo日志, 但技术上有难度2012年11月30日 13:46
-
最简单的方法：
创建一个sql日志表，对于每条sql，执行成功以后，插入该sql到sql日志表，然后有一个定时任务，获取改时间段内的执行的sql，发送到上一级，上一级接收到以后，按照时间顺序依次执行sql。
这种方法比较麻烦的就是，需要考虑到各种异常情况，免得出现丢失数据的问题。2012年11月30日 11:21
-
你的数据表应该有特殊设计。
1.对于新增的数据，你完全可以使用插入日期来区分。因为你的同步肯定有一定时间范围的。比如一天一次。
2.对于更新的数据，需要记录更新的日期。
所以，简单说来，需要同步的表，至少应该增加两个字段：
addTime以及updateTime，根据这两个字段，结合同步时间来筛选你需要的数据进行同步。
只有addTime的，insert
如果addTime在下一个同步周期的，无论updateTime是多少，也insert
如果addTime在上一个同步周期，且存在updateTime，update2012年11月29日 12:06
相关推荐
1. **逐级向上传送数据**：系统设计允许各级部门自动将业务数据上传至上级部门。例如，县级部门将数据传至地市级部门，地市级部门再传至省级部门，形成一个逐级传递的数据流，使上级部门能实时获取下级部门的业务...
它在20世纪80年代为解决传统的准同步数字体系（PDH）存在的问题而被提出，主要用于长途电话通信和宽带数据传输。本教程将深入浅出地探讨SDH的基本概念、结构、优点及其在通信网络中的应用。 ### 1. SDH的起源与特点...
4. 层级传播：当父节点的状态改变时，需要将这个变化逐级向上或向下传播，以同步整个树的状态。这可能涉及到递归调用或者栈的使用。 5. 用户界面（UI）更新：选中状态的变化需要实时反映在UI上，这要求我们有良好的...
- **层次性原则**：在分析路由器运行中的故障时，应遵循网络的层次，即从物理层开始逐步向上至网络层，将问题逐级定位。 ##### 3. 物理层问题的常见处理方法 - **故障现象描述**： - 使用`show端口`命令查看端口...
SDRAM通用控制器的FPGA模块化设计是一种高效且灵活的方法，用于解决SDRAM（同步动态随机存储器）的复杂控制逻辑问题。SDRAM因其高速数据传输能力而在高速数据处理系统中广泛应用。传统的SDRAM控制器常由专用芯片实现...
- 冒泡阶段则是从目标元素开始，逐级向上传递事件到窗口对象。 `event.stopPropagation()`方法可以阻止事件冒泡，即停止事件继续向上层元素传播。此外，`event.preventDefault()`方法用于阻止事件的默认行为。 ## ...
而微观接近法则从基层员工开始，逐级向上汇总，更注重个体差异，但可能忽视整体平衡。 例如，薪酬费用比率法是宏观接近法的一个应用，它基于历史数据和行业经验，设定合理的薪酬费用占销售总额的比例。如果企业预测...
类似地，生产预算、直接材料预算、直接人工预算、制造费用预算、成本预算、销售及管理费用预算和现金预算等都是以这种方式构建，它们彼此间通过链接公式建立联系，通常是以销售预算为基础，逐级向上延伸，最终形成...
分布式任务调度基于分布式软总线、分布式数据管理、分布式 Profile 等技术特性，构建统一的分布式服务管理（发现、同步、注册、调用）机制，支持对跨设备的应用进行远程启动、远程调用、远程连接以及迁移等操作。...
- **数据传递流程**：数据从底层逐级向上传递，最终达到应用层提供服务。 - **A2DP与Handsfree使用流程**：这两种配置文件的使用过程涉及多个步骤，包括服务的激活、设备的连接、编解码器的协商等。 通过本文的详细...
表1展示了枚举过程的层次结构，从底层的读写寄存器开始，逐级向上层构建，直到完成设备识别、配置选择等高级操作。 传输事务的实现是底层驱动中的核心部分，它涉及到USB数据包的封装和解封装，以及错误检测和重传...
- 在能量金字塔中，能量从底层的生产者向上层的消费者传递，能量最多的营养级通常是生产者，其次是初级消费者，接着是次级消费者，以此类推。 8. **分解者的作用** - 分解者如金龟子，不占据食物链的营养级，它们...
要确定一条穿过多个数据节点的线，可以自底向上地从数据节点开始，向上遍历到达父层，记录经过的节点，直到到达顶层。 以上就是针对题目涉及的IT知识点的详细解释，涵盖了数据结构、内存管理、多线程、爬虫技术以及...
通信过程实际上是由下层向上层逐级传递信息。在实际通信过程中，信息是从一个层次的实体通过下一层的接口传递到另一层次的实体中去的，这个过程可以通过服务原语来进行描述。例如，在连接建立的过程中，涉及到的服务...
每个层次都包含若干个时钟源，下层的时钟可以向上层时钟请求时间校准，从而逐级传递精确时间。NTP客户端会连接到这些层次中的一个或多个时钟，并根据接收到的时间信息调整自己的系统时钟。 在ntp-4.2.4p8这个版本中...
社会单位的视频信息通过互联网接入至县级平台，然后逐级向上汇聚。未来，随着视频监控资源的增加，派出所也可能设立接入平台。每个级别的平台应部署在具有固定IP的互联网环境下，带宽要求县级以上平台不少于50M，以...
- with rollup：逐级向上进行汇总，从最细粒度级别到最粗粒度级别。 - grouping sets：返回指定的分组集，允许用户自定义需要的汇总级别，可以与rollup和cube结合使用。使用grouping(字段名) = 1来识别汇总行。 ...
- **自下而上的估算方法**：这是一种从最底层的任务或活动开始，逐级向上汇总成本的方法。通过这种方式，可以更精确地评估项目的整体成本。在这个案例中，小张首先计算了各个子任务的成本，然后汇总得到整个项目的...
这六大阶梯环环相扣，由易到难、由简单到复杂、由单一到综合，形成逐级向上的阶梯体系。整个教学内容的设计，是根据这六大阶梯进行优化整合的。 “四驱式”模式的教学改革，包括项目驱动、任务驱动、案例驱动与问题...