MySQL Open Replicator

Open Replicator ( http://code.google.com/p/open-replicator/ ) 开源了。Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL（就像一个普通的MySQL Slave一样），然后接收和分析binlog，最终将分析得出的binlog events以回调的方式通知应用。Open Replicator可以被应用到MySQL数据变化的实时推送，多Master到单Slave的数据同步等多种应用场景。目前的这个最初版本，是笔者用 了大概两周的业余时间开发的。在程序结构上，最主要的设计原则是高性能，低内存占用。Open Replicator目前只支持MySQL5.0及以上版本。

 

评论

34 楼 welyss 2014-08-02  

楼主代码好专业，试用中，感觉还不错，另看源码的时候，发现db的连接好像没用jdbc，好像是NIO直接访问的，楞是没看懂。。。。。能推荐点资料学习下吗，特别是在请求中output的信息，网上找了半天没找到相关资料，不知道mysql官方资料里有没，内容太多，还在慢慢爬文中

33 楼 whitesock 2013-07-09  

谢谢，我会抽空调查一下。

agapple 写道

scarcer7 写道

master版本5.6的时候，会出现下列错误

引用

Slave can not handle replication events with the checksum that master is configured to log

我上网查了一下，这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外，open replicator本身有没有办法设置这个呢？

试用下https://github.com/alibaba/canal，已经支持mysql5.6协议，支持crc校验，支持新的时间格式和一些其他变化。

mysql5.6协议变化，https://github.com/alibaba/canal/wiki/BinlogChange%28mysql5.6%29

32 楼 agapple 2013-07-08  

scarcer7 写道

master版本5.6的时候，会出现下列错误

引用

Slave can not handle replication events with the checksum that master is configured to log

我上网查了一下，这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外，open replicator本身有没有办法设置这个呢？

试用下https://github.com/alibaba/canal，已经支持mysql5.6协议，支持crc校验，支持新的时间格式和一些其他变化。

mysql5.6协议变化，https://github.com/alibaba/canal/wiki/BinlogChange%28mysql5.6%29

31 楼 whitesock 2013-07-04  

For MySQL 5.6.6 users, binlog_checksum system variable is NOT supported by open-replicator at the moment, please set it to NONE.

scarcer7 写道

master版本5.6的时候，会出现下列错误

引用

Slave can not handle replication events with the checksum that master is configured to log

我上网查了一下，这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外，open replicator本身有没有办法设置这个呢？

30 楼 scarcer7 2013-07-04  

master版本5.6的时候，会出现下列错误

引用

Slave can not handle replication events with the checksum that master is configured to log

我上网查了一下，这个错误一般出现在master5.6,slave在低版本的情况下。这是由于5.6使用了crc32做binlog的checksum。除了把master的设置从crc32改到none之外，open replicator本身有没有办法设置这个呢？

29 楼 whitesock 2013-06-25  

scarcer7 写道

请问，是否已经有生产环境的应用案例了？如果有，不知道能否方便告知数量？

据我所知，除了我们自用之外，线上有2，3个实例的部署。

28 楼 scarcer7 2013-06-25  

请问，是否已经有生产环境的应用案例了？如果有，不知道能否方便告知数量？

27 楼 whitesock 2013-06-13  

OpenReplicator并不处理字符集，需要应用自己处理。

scarcer7 写道

请问，怎么设定字符集呢？
我调用setEncoding方法设置字符集为GBK，但访问GBK的数据库仍然得到乱码。。。

26 楼 scarcer7 2013-06-13  

请问，怎么设定字符集呢？
我调用setEncoding方法设置字符集为GBK，但访问GBK的数据库仍然得到乱码。。。

25 楼 soartju 2013-06-09  

有没有程序例子？另外这个工具稳定性怎么样，有没有在生产环境中使用过？

24 楼 agapple 2013-02-20  

whitesock 写道

关于你所说的穿插的情况，有具体的binlog可以发给我吗，我测试一下。

wangwei3 写道

请问，如何将所接收的event按transaction划分？
例如，插入一条记录（id自增），event顺序应该是Query（Begin）、IntvarEvent（id）、Query（Insert）、XidEvent，但是当多进程同时插入的时候，接收到的结果就是穿插着的了，应该如何判断哪些event是同一个transaction提交的呢？
还有IntvarEvent除了nextPosition找到Query（Insert）外，还有其它方式么？

mysql binlog都是以完整事务提交的，不会出现事务穿插

23 楼 agapple 2013-02-20  

看到了一个国内类似的产品，我最近也open了一个mysql binlog解析的project，可以一起交流下，基于mysql数据库binlog的增量订阅&消费：http://www.iteye.com/topic/1129002

22 楼 siyuan 2012-11-20  

其实MySQL的JDBC驱动包含了socket部分，可以尝试直接使用

21 楼 whitesock 2012-10-09  

没什么太好的文档，尝试看看mysql源码吧。

savior112 写道

whitesock 写道

通常出现这种情况都是master侧的非正常操作。

savior112 写道

siyuan 写道

现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况，是master端切换binlog文件的时候，就会报ErrorPacket/EOFPacket的问题，有什么需要特殊配置的吗？

应该没有吧，mysql自带的slave工作正常的，还有问下能不能给份mysqlreplication的协议文档，我百度和mysql的官网上没找到 我的邮箱[e-mail]谢谢

20 楼 savior112 2012-10-08  

whitesock 写道

通常出现这种情况都是master侧的非正常操作。

savior112 写道

siyuan 写道

现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况，是master端切换binlog文件的时候，就会报ErrorPacket/EOFPacket的问题，有什么需要特殊配置的吗？

应该没有吧，mysql自带的slave工作正常的，还有问下能不能给份mysqlreplication的协议文档，我百度和mysql的官网上没找到 我的邮箱[e-mail]谢谢

19 楼 whitesock 2012-10-08  

通常出现这种情况都是master侧的非正常操作。

savior112 写道

siyuan 写道

现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况，是master端切换binlog文件的时候，就会报ErrorPacket/EOFPacket的问题，有什么需要特殊配置的吗？

18 楼 savior112 2012-10-08  

siyuan 写道

现在的OpenReplicator好像不会自动切换到下一个binlog哦

我也遇到这个情况，是master端切换binlog文件的时候，就会报ErrorPacket/EOFPacket的问题，有什么需要特殊配置的吗？

17 楼 siyuan 2012-09-28  

发现一个现象，serverId设置不同会导致不一样的出错率

16 楼 siyuan 2012-09-28  

可能是我搞错了，因为OpenReplicator经常会自动断开，主要是遇到ErrorPacket/EOFPacket的问题，目前通过重载OpenReplicator的自动重连机制来处理

    private boolean autoRestart = false;

    @Override
    public void stopQuietly(long timeout, TimeUnit unit) {
        super.stopQuietly(timeout, unit);
        if(autoRestart){
            try {
                TimeUnit.SECONDS.sleep(10);
                start();
            } catch (InterruptedException ignored) {
            } catch (Exception ignored) {
            }
        }
    }

15 楼 whitesock 2012-09-28  

siyuan 写道

现在的OpenReplicator好像不会自动切换到下一个binlog哦

发一下你的配置信息。