MySQL-Transfer2.1发布

Transfer 2.1发布，

 

下载地址: Tranfer-2.1-base-PS-5.5.18  md5sum: 9c8112ba9ca11f8e4a13b935e4bd7f77 最后更新日期 2013-4-23

 

配置模式作如下修改：

 

1、  若不增加任何配置，则默认是Slave模式。

默认值：

  transfer_slave_thread = 16

  slave_skip_errors=1062,1032

 

 直接替换slave的mysqld即可

 

2、  若配置为Transfer模式，需增加配置如下(remote_slave_hostname  缺省则为上述的slave模式）

remote_slave_hostname =

remote_slave_username =

remote_slave_password =

remote_slave_port =

 

说明: a) 这里配置的帐号必须有slave的超级权限

           b) 由于1)的模式已支持slave模式，因此Transfer模式下不可将hostname和port指向Transfer自己

           c)使用transfer模式时，需要在环境搭建过程中，将slave的表结构导入transfer中

 

其他说明：从此版本开始，只维护5.5版本。使用Transfer模式的用户只需保证Master和Slave版本一致(5.1\5.5均可)，Transfer固定为5.5.18

评论

12 楼 g376228215 2013-04-18  

又来麻烦你了，我在使用过程中遇到一个字符集的问题。
我们在主库使用了gb2312这个字符集，但是本文中所给的transter2.1 不支持这个字符集，所以transter不认识这个字符集，导致不能同步。虽然我改了主库的字符集后能正常同步了，但由于数据库有的时候被其它人操作，它们没有注意字符集的问题，使用了gk2312,导致同步出问题。（在使用过程中就真实遇到了），虽然现在都给他们打过招呼了，但是就怕万一。
所以问下可不可以给一个支持所有字符集的补丁呀,如果忙不过来也就算了，要是有最好了，谢谢。（由于我不用sina weibo， 所以就不@你了。  ）

11 楼 g376228215 2013-04-16  

非常感谢 ，还真是因为事务太大造成的。我改小后并发就上去了。

10 楼 丁林.tb 2013-04-13  

to @g376228215 非常好的问题，描述的也很清楚！

从你的描述来看，是因为你插入数据的时候用到了大事务。
可能你每个线程都没有用auto_commit或者用了begin /start transaction?
这样会导致这些操作都属于同一个大事务
transfer是按事务并发的，因此大事务就无法并发了。
同时因为transfer需要判断如何对事务做分配线程之后才转发，因此事务在分发之前会先放到内存，所以看到的现象是占用很多内存。
其他描述的现象也跟这个有关
你从主库的binlog验证一下？
有问题直接私信联系我 新浪微博 @淘宝丁奇

9 楼 g376228215 2013-04-12  

丁林.tb 写道

g376228215 写道

请问一下上面的补丁是针对 Percona-Server-5.5.18  这个版本的吗？如果我用 mysql 官方人5.5.18可以使用这个吗？

如果是使用Transfer模式，是可以直接用的。
如果是Slave模式，需要你将Slave替换成这里的版本，完全兼容的

我在测试过程中遇到一些问题，请教大侠一下。
环境： 主库， 从库都用的是官方mysql ， transfer 用的是 Percona-Server。
       主库，transter 在一台机器上。

1. 我在主库建一张表，字段就只有一个自增长ID和一个vachar() 类型，然后我开了50个线程，并发向这张表中写了200万左右的数据。（数据全部都是insert, 没有update 和 delete ）

2. 使用transfer模式。配置就是按文章上面配置的。然后我change master 到主库没有写入200万数据前，然后 start slave 。 主库和transfer在一台，slave 在另外一台。

3.  在这个同步过程中。我发觉slave 的qps只有4000左右（如果我不使用transter, 直接使用master -- slave ，slave 的qps能达到10000。）。 就算中间多了一个transter，少一点我觉得很正常，少这么就没想通。不知道那里没弄对。

4. 在这个环境运行过程中。transfer 的内存使用不停增长，在同步没开始时，大概transter 的内存使用只有%4 左右，但是在同步过程内存使用不停涨，最高一次达到过80%（我是8G的内存），想知道是什么在占用内存。 CPU一直维持在80% 左右 ，一址没突破100% 。我是2核CPU ,感觉CPU跑不上去。IO,网络正常。

5. 在同步过程中。我在transter 执行 show slave status\G 会被卡住 ，直到整个同步完成， show slave status\G 才有结果 。 不知道为什么卡住 。

上面就是我在测试过程遇到 的一些问题，请教一下是不是那样做的有问题，或者说我这种全是insert测试有问题？  谢谢！

8 楼 丁林.tb 2013-04-07  

g376228215 写道

请问一下上面的补丁是针对 Percona-Server-5.5.18  这个版本的吗？如果我用 mysql 官方人5.5.18可以使用这个吗？

如果是使用Transfer模式，是可以直接用的。
如果是Slave模式，需要你将Slave替换成这里的版本，完全兼容的

7 楼 g376228215 2013-03-26  

请问一下上面的补丁是针对 Percona-Server-5.5.18  这个版本的吗？如果我用 mysql 官方人5.5.18可以使用这个吗？

6 楼 sea267 2013-03-02  

sea267 写道

丁林.tb 写道

hongbin119 写道

下载下来没后缀，这个是什么包

可执行文件。直接替换你的程序

额 对linux不熟悉，能否写个实例啊？！

我的机器是 centos5.5
执行

[root@go html]# ./Transfer.2.1-based-PS-5.5.18
-bash: ./Transfer.2.1-based-PS-5.5.18: cannot execute binary file

这个该如何解决啊？谢谢！

5 楼 sea267 2013-03-02  

丁林.tb 写道

hongbin119 写道

下载下来没后缀，这个是什么包

可执行文件。直接替换你的程序

额 对linux不熟悉，能否写个实例啊？！

4 楼 丁林.tb 2013-01-04  

sea267 写道

想问下楼主 淘宝在用的mysql版本是 Percona-Server-5.5.18 ？

是的

3 楼 sea267 2012-12-29  

想问下楼主 淘宝在用的mysql版本是 Percona-Server-5.5.18 ？

2 楼 丁林.tb 2012-12-19  

可执行文件。直接替换你的程序

hongbin119 写道

下载下来没后缀，这个是什么包

可执行文件。直接替换你的程序

1 楼 hongbin119 2012-12-18  

下载下来没后缀，这个是什么包