MySQL-Transfer2.1发布

Transfer 2.1发布，

 

下载地址: Tranfer-2.1-base-PS-5.5.18  md5sum: 9c8112ba9ca11f8e4a13b935e4bd7f77 最后更新日期 2013-4-23

 

配置模式作如下修改：

 

1、  若不增加任何配置，则默认是Slave模式。

默认值：

  transfer_slave_thread = 16

  slave_skip_errors=1062,1032

 

 直接替换slave的mysqld即可

 

2、  若配置为Transfer模式，需增加配置如下(remote_slave_hostname  缺省则为上述的slave模式）

remote_slave_hostname =

remote_slave_username =

remote_slave_password =

remote_slave_port =

 

说明: a) 这里配置的帐号必须有slave的超级权限

           b) 由于1)的模式已支持slave模式，因此Transfer模式下不可将hostname和port指向Transfer自己

           c)使用transfer模式时，需要在环境搭建过程中，将slave的表结构导入transfer中

 

其他说明：从此版本开始，只维护5.5版本。使用Transfer模式的用户只需保证Master和Slave版本一致(5.1\5.5均可)，Transfer固定为5.5.18

评论

32 楼 yuanmouren1hao 2014-09-01  

不支持win环境吗？

31 楼 Super_Error 2013-11-26  

麻烦问一下，是否支持windows版本呢

30 楼 丁林.tb 2013-09-09  

ftlynx 写道

hi, 丁林。 请教一个问题，我使用的是transfer模式。在transfer中不是要有数据库的表结构吗？我需要在主库修改表结构，或者增加删除表，那么正确的操作方式是什么呢？可否直接在主库做修改？

刚开始搭建的时候要保证Master transfer slave的表结构一样（原生的主从也是一样需要这个保证的），正常跑一起来以后，所有的更新都只需要走主库了。表结构变更或者增加/删除表，transfer都会保证三方一致性的

29 楼 ftlynx 2013-07-19  

hi, 丁林。 请教一个问题，我使用的是transfer模式。在transfer中不是要有数据库的表结构吗？我需要在主库修改表结构，或者增加删除表，那么正确的操作方式是什么呢？可否直接在主库做修改？

28 楼 sunmonth 2013-05-29  

丁林.tb 写道

sunmonth 写道

你好，我有个库主库写压力很大，打算用这个做主从同步
可是看了文档不是很全，有些疑问
这个支持mysql5.5.* 所有版本 ？
从库直接用 Tranfer-2.1-base-PS-5.5.18 替换 mysqld 就可以用slave 模式 ？
transfer 模式没看懂，类似中继器？具体怎么搭建配置，有很大疑惑。
怎么查证多线程复制，能否用show processlist;看到 ？
如有时间可以探讨下，我整理篇文档。

1) 是的，如果要用slave模式，只要用mysqld替换掉就可以了。http://dinglin.iteye.com/blog/1739283 这里有各个版本的。 因为高版本对低版本是兼容的，所以如果你有对应版本的，直接用对应版本，如果没有，就用5.5.30
2) transfer模式就是搭建一个Transfer（这其实也是一个mysql实例）,然后transfer作为master的从库，收到binlog后发给slave，这种方式实现数据同步
3) 在观察方面做的还不够好，夏一个版本会加入各种察看效果的命令。目前的话，可以认为只要满足条件，都会用到主从同步。 条件 a) 主库的binlog是row格式  2)更新的表上有主键

transfer 配置好了，有了到slave的super权限账户，就把binlog发给slave,salve就按照日志做。 slave 要配置什么吗？还是slave 再以transfer 为主复制？

27 楼 丁林.tb 2013-05-29  

sunmonth 写道

你好，我有个库主库写压力很大，打算用这个做主从同步
可是看了文档不是很全，有些疑问
这个支持mysql5.5.* 所有版本 ？
从库直接用 Tranfer-2.1-base-PS-5.5.18 替换 mysqld 就可以用slave 模式 ？
transfer 模式没看懂，类似中继器？具体怎么搭建配置，有很大疑惑。
怎么查证多线程复制，能否用show processlist;看到 ？
如有时间可以探讨下，我整理篇文档。

1) 是的，如果要用slave模式，只要用mysqld替换掉就可以了。http://dinglin.iteye.com/blog/1739283 这里有各个版本的。 因为高版本对低版本是兼容的，所以如果你有对应版本的，直接用对应版本，如果没有，就用5.5.30
2) transfer模式就是搭建一个Transfer（这其实也是一个mysql实例）,然后transfer作为master的从库，收到binlog后发给slave，这种方式实现数据同步
3) 在观察方面做的还不够好，夏一个版本会加入各种察看效果的命令。目前的话，可以认为只要满足条件，都会用到主从同步。 条件 a) 主库的binlog是row格式  2)更新的表上有主键

26 楼 sunmonth 2013-05-29  

你好，我有个库主库写压力很大，打算用这个做主从同步
可是看了文档不是很全，有些疑问
这个支持mysql5.5.* 所有版本 ？
从库直接用 Tranfer-2.1-base-PS-5.5.18 替换 mysqld 就可以用slave 模式 ？
transfer 模式没看懂，类似中继器？具体怎么搭建配置，有很大疑惑。
怎么查证多线程复制，能否用show processlist;看到 ？
如有时间可以探讨下，我整理篇文档。

25 楼 丁林.tb 2013-05-28  

aeoluspu 写道

在测试时 ，发现一个奇怪问题，主从库下，表里面数据一致
mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.102.136

Transfer里面要看
Master_Log_File: mysql-bin.000008
Relay_Master_Log_File: mysql-bin.000008
Read_Master_Log_Pos: 6283303
Exec_Master_Log_Pos: 6283303
这四个参数来判断


由于多线程的缘故， Seconds_Behind_Master这个值不准。。

24 楼 aeoluspu 2013-05-23  

在测试时 ，发现一个奇怪问题，主从库下，表里面数据一致
mysql> show slave status \G;
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.102.136
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000008
          Read_Master_Log_Pos: 6283303
               Relay_Log_File: localhost-relay-bin.000041
                Relay_Log_Pos: 6283449
        Relay_Master_Log_File: mysql-bin.000008
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 6283303
              Relay_Log_Space: 6283755
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 473
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
1 row in set (0.00 sec)

怎么还出现了延迟呢？

master-transfer-slave 模式测试的。

23 楼 aeoluspu 2013-05-23  

  若配置为Transfer模式，需增加配置如下(remote_slave_hostname  缺省则为上述的slave模式）

remote_slave_hostname =

remote_slave_username =

remote_slave_password =

remote_slave_port = 


如果一个transfer 对应多个slave ，那么在配置文件里 按照上面的格式，分别配置好各个slave的 的信息就可以了吧？ 这种情况下 transfer 是单独一台机器好，还是transfer 跟slave在一台也可以，性能没有太大影响？ 

22 楼 丁林.tb 2013-05-20  

aeoluspu 写道

这个 Tranfer-2.1-base-PS-5.5.18 版本如何安装，部署，请指教，看了你以前的一些文章，也没搞明白。

目前在主从是mysql 社区版 5.5.31上测试。因为有部分生产环境是这个版本。

就是你主从搭建好以后，将slave上的mysqld替换为我链接中提供的mysqld。
这里有一个 5530的版本 http://dinglin.iteye.com/blog/1739283

21 楼 aeoluspu 2013-05-20  

这个 Tranfer-2.1-base-PS-5.5.18 版本如何安装，部署，请指教，看了你以前的一些文章，也没搞明白。

目前在主从是mysql 社区版 5.5.31上测试。因为有部分生产环境是这个版本。

20 楼 丁林.tb 2013-05-16  

aeoluspu 写道

生产环境有点乱，生产环境主要是基于5.5版本的各小版本如：5.5.21 、5.5.31 这些都可以用
下载地址: Tranfer-2.1-base-PS-5.5.18  md5sum: 9c8112ba9ca11f8e4a13b935e4bd7f77 最后更新日期 2013-4-23版本吧。

是的，大版本相同基本都是兼容的

19 楼 aeoluspu 2013-05-16  

生产环境有点乱，生产环境主要是基于5.5版本的各小版本如：5.5.21 、5.5.31 这些都可以用
下载地址: Tranfer-2.1-base-PS-5.5.18  md5sum: 9c8112ba9ca11f8e4a13b935e4bd7f77 最后更新日期 2013-4-23版本吧。

18 楼 aeoluspu 2013-05-16  

http://dinglin.iteye.com/blog/1739283#bc2311350

丁林.tb 写道

aeoluspu 写道

生产环境主从用的版本是 5.5.21-log  可以用这个transfer吗 ？

可以的

我是不是可以这么理解 。 Tranfer-2.1-base-PS-5.5.18  是基于percona的吧？
只要大版本5.5 主从一致，就可以用这个patch吧 。

不明白patch如何 对应版本 ？麻烦再解答一下，谢谢。

17 楼 丁林.tb 2013-05-14  

aeoluspu 写道

生产环境主从用的版本是 5.5.21-log  可以用这个transfer吗 ？

可以的

16 楼 aeoluspu 2013-05-07  

生产环境主从用的版本是 5.5.21-log  可以用这个transfer吗 ？

15 楼 g376228215 2013-04-27  

丁林.tb 写道

丁林.tb 写道

g376228215 写道

又来麻烦你了，我在使用过程中遇到一个字符集的问题。
我们在主库使用了gb2312这个字符集，但是本文中所给的transter2.1 不支持这个字符集，所以transter不认识这个字符集，导致不能同步。虽然我改了主库的字符集后能正常同步了，但由于数据库有的时候被其它人操作，它们没有注意字符集的问题，使用了gk2312,导致同步出问题。（在使用过程中就真实遇到了），虽然现在都给他们打过招呼了，但是就怕万一。
所以问下可不可以给一个支持所有字符集的补丁呀,如果忙不过来也就算了，要是有最好了，谢谢。（由于我不用sina weibo， 所以就不@你了。  ）

已经更新到上面的链接了。
你没有用sina weibo的话，这类需求可以发到我的邮箱 [e-mail]
很合理的，因为阿里没有用这个字符集的，所以原来没有考虑到，加入更好的

启动以后用  show character set like 'gb2312'; 确认下

有了，非常感谢。

14 楼 丁林.tb 2013-04-23  

丁林.tb 写道

g376228215 写道

又来麻烦你了，我在使用过程中遇到一个字符集的问题。
我们在主库使用了gb2312这个字符集，但是本文中所给的transter2.1 不支持这个字符集，所以transter不认识这个字符集，导致不能同步。虽然我改了主库的字符集后能正常同步了，但由于数据库有的时候被其它人操作，它们没有注意字符集的问题，使用了gk2312,导致同步出问题。（在使用过程中就真实遇到了），虽然现在都给他们打过招呼了，但是就怕万一。
所以问下可不可以给一个支持所有字符集的补丁呀,如果忙不过来也就算了，要是有最好了，谢谢。（由于我不用sina weibo， 所以就不@你了。  ）

已经更新到上面的链接了。
你没有用sina weibo的话，这类需求可以发到我的邮箱 [e-mail]
很合理的，因为阿里没有用这个字符集的，所以原来没有考虑到，加入更好的

启动以后用  show character set like 'gb2312'; 确认下

13 楼 丁林.tb 2013-04-23  

g376228215 写道

又来麻烦你了，我在使用过程中遇到一个字符集的问题。
我们在主库使用了gb2312这个字符集，但是本文中所给的transter2.1 不支持这个字符集，所以transter不认识这个字符集，导致不能同步。虽然我改了主库的字符集后能正常同步了，但由于数据库有的时候被其它人操作，它们没有注意字符集的问题，使用了gk2312,导致同步出问题。（在使用过程中就真实遇到了），虽然现在都给他们打过招呼了，但是就怕万一。
所以问下可不可以给一个支持所有字符集的补丁呀,如果忙不过来也就算了，要是有最好了，谢谢。（由于我不用sina weibo， 所以就不@你了。  ）

已经更新到上面的链接了。
你没有用sina weibo的话，这类需求可以发到我的邮箱 [e-mail]
很合理的，因为阿里没有用这个字符集的，所以原来没有考虑到，加入更好的