`
鳄鱼旭
  • 浏览: 76059 次
文章分类
社区版块
存档分类
最新评论

Otter源代码解析(七)

 
阅读更多

全部文档索引:

Otter源代码解析(一): http://eyuxu.iteye.com/blog/1941894

Otter源代码解析(二) : http://eyuxu.iteye.com/blog/1942518

Otter源代码解析(三): http://eyuxu.iteye.com/blog/1942519

Otter源代码解析(四): http://eyuxu.iteye.com/blog/1942521

Otter源代码解析(五): http://eyuxu.iteye.com/blog/1942522

Otter源代码解析(六): http://eyuxu.iteye.com/blog/1942549

Otter源代码解析(七): http://eyuxu.iteye.com/blog/1942578

Otter源代码解析(八): http://eyuxu.iteye.com/blog/1942780

Otter源代码解析(九): http://eyuxu.iteye.com/blog/1942786

 

本节讲述Extract过程:

 

该过程的结构如下:

 

 注意这里的OtterExtractorFactory与OtterExtractor并不是选择一个合适的Extractor处理,而是搭建成一个职责链(但设计上并不完全是,个人觉得设计成职责链更合适一些),每个Extractor顺序处理。其中的DatabaseExtractor由于会做数据库反查会比较耗时,所以内部使用线程池做了并发优化。 因而做成一个池化的对象(池化的说明参见最开始的解释),所以并不是单例的Bean。其他的Extractor都是单例的。

 

请原谅,水平有限,暂时还没弄懂GroupExtractor是做什么用的,搞清楚之后会更新文档。

  • 大小: 50 KB
分享到:
评论
1 楼 agapple 2013-09-18  
GroupExtractor字面意思就是组. 在otter内部使用主要解决两类需求:

1.  文件同步. 一条记录对应的图片,可能会有一个或者多个字段,比如会有image_path,image_version来决定图片,所以我们可以定义这两个字段为一组,只要满足组内任意一个字段的变更,就会认为需要文件同步.

2.  数据上的组同步,比如国家,省份,城市,可能在数据库为三个字段. 如果是双A同步,两地同时修改这些字段,但业务上可能在A地修改了国家为美国,在B地修改为省份为浙江,然后一同步,最终就会变成美国,浙江这样的情况. 这种情况可以通过group来解决,将国家,省份,城市做一个group,组内任何一个字段发生了变更,其余字段会做为整体一起变更.

相关推荐

    QT开源网页浏览器otter-browser的源代码

    Otter Browser 水獭浏览器 水獭浏览器 - 模仿opera12界面, 基于qt5的webkit浏览器. 等于个人制作山寨版Safari, 支持二代半引擎, 苹果WebEngine/谷歌Blink. 作者: 波兰 Emdek 恩德克 代码可用,本人亲测,qt5.5+vs...

    基于QT开发的浏览器源代码(otter-browser).zip

    【基于QT开发的浏览器源代码(otter-browser)】是一个开放源码的项目,它使用了流行的跨平台应用程序开发框架Qt来构建一个功能完备的网络浏览器。Qt是一个强大的C++库,提供了丰富的图形用户界面(GUI)工具和系统...

    七锋otter_otter_

    2. **架构原理**:Otter采用主从复制的架构,通过binlog解析,将源数据库的变更事件转化为可以跨网络传输的格式,然后将这些事件发送到目标数据库,进行应用。Otter还包含一个中央协调服务器,负责管理任务配置和...

    otter源码包

    在`otter-master`这个压缩包中,你将找到Otter的源代码,包括了项目的结构、模块划分、核心类的实现等。通过阅读源码,你可以了解到以下内容: 1. **代码结构**:了解Otter的模块划分,如manager、node、common、...

    otter 资料PDF(深入理解otter (偏向技术层面)、otter使用介绍 (偏向使用层面) )

    otter 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。 深入理解otter (偏向技术层面).pdf otter使用介绍 (偏向使用层面) .pdf

    深入浅出Otter与Canal.pdf

    Otter通过解析数据库的增量日志来实现数据的迁移与同步。 2. Canal开源产品: Otter系统基于Canal开源产品,Canal主要用于获取MySQL数据库的增量日志数据。Canal的设计初衷是为了满足阿里巴巴在杭州和美国双机房...

    otter部署使用手册.zip

    Otter,作为一款强大的分布式数据库同步管理系统,主要用于实现数据库增量日志解析,从而实现实时或准实时的数据同步,无论是本机房内的数据库还是跨地域的异地机房,Otter都能高效地完成任务。在本文中,我们将深入...

    数据同步利器--otter搭建使用说明

    Otter 是阿里巴巴开源的一款强大的数据同步工具,特别适合在分布式环境中进行实时的数据迁移和同步。它解决了传统数据库主从复制的局限性,提供了更高效、灵活的解决方案。本篇文章将详细介绍Otter的主要功能、架构...

    otter-使用、维护说明.doc

    Canal 是 Otter 内部用于捕获和解析数据库变更的日志组件。内存存储的 buffer 大小(例如 1024M)是配置的关键,因为它决定了 Otter 可以暂存多少数据变更。此外,可以根据系统的资源调整并行度和批次大小,例如 2...

    otter部署文档说明

    - **Otter**是一种用于实现跨数据中心或跨地域数据库同步的解决方案,主要基于阿里巴巴开源项目Canal来捕获MySQL实例的Binlog日志,并对这些日志进行解析处理后发送至目标数据库。 - **工作原理**: - **基于Canal...

    深入理解otter.pptx

    - **Canal**:作为数据源,捕获MySQL的Binlog日志。 ##### 设计关注要点 - **数据不可丢失**:确保所有变更的数据都能成功应用于目标数据库。 - **数据最终一致性**:即使在网络不稳定的情况下,也应确保最终数据的...

    Otter配置教程,otter从入门配置到高级配置

    Otter配置教程,otter从入门配置到高级配置,适合入门学习以及配置参考

    otter4使用介绍

    #### 七、Otter4 使用及运维 **1. 名词解释** - **Pipeline**:指从源端到目标端的整个数据同步过程。 - **Channel**:在单向同步中,一个Pipeline即为一个Channel;在双向同步中,则由两个Pipeline组成。 - **...

    alibaba-otter

    项目背景 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出...定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

    otter4使用介绍.pdf

    - 反方向的Pipeline会获取变更数据,并通过解析事务的开始和结束标记来判断是否是Otter系统内部产生的变更,从而避免回环同步的问题。 以上就是Otter4的主要内容介绍,Otter4以其强大的功能和出色的性能成为了解决...

    linux安装otter需要用到的安装包,与otter的介绍

    压缩包里面有:aria2-1.17.1.tar.gz,jdk-7u79-linux-x64.tar.gz,manager.deployer-4.2.13.tar.gz,node.deployer-4.2.13.tar.gz,zookeeper-3.4.5-cdh4.3.0.tar.gz,深入理解otter.pptx,otter4使用介绍.pptx

    otter集群配置.docx

    ### Otter集群配置详解 #### 一、概述 Otter是一款高效的数据库同步工具,它能够实现MySQL数据库之间的数据同步,并支持多种同步模式。本文档旨在详细介绍如何基于Otter搭建一个完整的集群配置,包括其原理、所需...

    otter打包及配置开发文档

    Otter采用基于事务的复制策略,保证数据在源库和目标库之间的强一致性。通过记录源库的binlog(MySQL)或redo log(Oracle),并基于这些日志实现增量同步,确保数据变更的完整性和顺序。 五、高效同步数据 Otter...

Global site tag (gtag.js) - Google Analytics