MySQL Open Replicator

Open Replicator ( http://code.google.com/p/open-replicator/ ) 开源了。Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL（就像一个普通的MySQL Slave一样），然后接收和分析binlog，最终将分析得出的binlog events以回调的方式通知应用。Open Replicator可以被应用到MySQL数据变化的实时推送，多Master到单Slave的数据同步等多种应用场景。目前的这个最初版本，是笔者用 了大概两周的业余时间开发的。在程序结构上，最主要的设计原则是高性能，低内存占用。Open Replicator目前只支持MySQL5.0及以上版本。

 

评论

14 楼 siyuan 2012-09-28  

现在的OpenReplicator好像不会自动切换到下一个binlog哦

13 楼 siyuan 2012-09-20  

了解，谢谢

12 楼 whitesock 2012-09-20  

配置里的serverId是Open Replicator（作为一个slave）的id，不是master的serverId。

siyuan 写道

show variables where variable_name='server_id';
show master status;

通过这个可以获取server_id,binlog,position;

这样设置host,user,pass就行了

11 楼 siyuan 2012-09-20  

    /**
     * 自动配置binlog位置
     */
    private void autoConfig() throws IOException {
        // 配置binlog位置
        if (this.binlogFileName == null) {
            ResultSetRowPacket binlogPacket = query("show master status");
            if (binlogPacket != null) {
                List<StringColumn> values = binlogPacket.getColumns();
                this.setBinlogFileName(values.get(0).toString());
                this.setBinlogPosition(Long.valueOf(values.get(1).toString()));
            }
        }
        // 配置Server Id
        ResultSetRowPacket serverIdPacket = query("show variables where variable_name='server_id'");
        if (serverIdPacket != null) {
            List<StringColumn> values = serverIdPacket.getColumns();
            this.setServerId(Integer.valueOf(values.get(1).toString()));
        }
    }

    /**
     * ComQuery 查询
     *
     * @param sql 查询语句
     * @return
     */
    private ResultSetRowPacket query(String sql) throws IOException {
        ResultSetRowPacket row = null;
        final ComQuery command = new ComQuery();
        command.setSql(StringColumn.valueOf(sql.getBytes()));
        this.transport.getOutputStream().writePacket(command);
        this.transport.getOutputStream().flush();
        // step 1
        this.transport.getInputStream().readPacket();
        //
        Packet packet;
        // step 2
        while (true) {
            packet = transport.getInputStream().readPacket();
            if (packet.getPacketBody()[0] == EOFPacket.PACKET_MARKER) {
                break;
            }
        }
        // step 3
        while (true) {
            packet = transport.getInputStream().readPacket();
            if (packet.getPacketBody()[0] == EOFPacket.PACKET_MARKER) {
                break;
            } else {
                row = ResultSetRowPacket.valueOf(packet);
            }
        }
        return row;
    }

10 楼 siyuan 2012-09-20  

show variables where variable_name='server_id';
show master status;

通过这个可以获取server_id,binlog,position;

这样设置host,user,pass就行了

9 楼 whitesock 2012-08-28  

列名目前在binlog中不支持。

huiding114 写道

在RBR模式下，如何能取到列名 和值能一对一配对的。

我是想在rbr模式下 可以直接转换为sql语句 不知道能做到吗？

8 楼 whitesock 2012-08-28  

关于你所说的穿插的情况，有具体的binlog可以发给我吗，我测试一下。

wangwei3 写道

请问，如何将所接收的event按transaction划分？
例如，插入一条记录（id自增），event顺序应该是Query（Begin）、IntvarEvent（id）、Query（Insert）、XidEvent，但是当多进程同时插入的时候，接收到的结果就是穿插着的了，应该如何判断哪些event是同一个transaction提交的呢？
还有IntvarEvent除了nextPosition找到Query（Insert）外，还有其它方式么？

7 楼 wangwei3 2012-08-27  

请问，如何将所接收的event按transaction划分？
例如，插入一条记录（id自增），event顺序应该是Query（Begin）、IntvarEvent（id）、Query（Insert）、XidEvent，但是当多进程同时插入的时候，接收到的结果就是穿插着的了，应该如何判断哪些event是同一个transaction提交的呢？
还有IntvarEvent除了nextPosition找到Query（Insert）外，还有其它方式么？

6 楼 huiding114 2012-06-19  

在RBR模式下，如何能取到列名 和值能一对一配对的。

我是想在rbr模式下 可以直接转换为sql语句 不知道能做到吗？

5 楼 huiding114 2012-06-19  

final OpenReplicator or = new OpenReplicator();
or.setUser("xjq"); or.setPassword("123456");
or.setHost("localhost");
or.setPort(3306);
or.setServerId(6789);
or.setBinlogPosition(4);
or.setBinlogFileName("mysql_bin.000033");
or.setBinlogEventListener(new BinlogEventListener() {    
public void onEvents(BinlogEventV4 event) {        
// your code goes here    
}
});
or.start();
System.out.println("press 'q' to stop");
final BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
for(String line = br.readLine();
line != null;
line = br.readLine()) { 
   if(line.equals("q")) {
        or.stop();         break;  
  }



请问这个例子中，文件名为什么没有指定路径。这个例子的功能是什么？是读取文件内容复制到连接的数据还是从这个数据库中读取这个日志的文件内容。没搞明白，请指教。
}

4 楼 huiding114 2012-06-18  

我想和你一起做这个项目

3 楼 huiding114 2012-06-18  

你好，请问你 这个开源的有文档吗

2 楼 田智伟 2012-06-15  

东西我也很感兴趣，公司也有做这个东西，不过没有接触，你的代码我看到了，不过美中不足的一点就是注释有些不给力，希望您可以指点一二、

1 楼 huiding114 2012-06-15  

能说明一下原理吗，最好有文档，我也想加入这个开源项目，不知如何和你联系，你的email名是QQ能告诉我吗