`
丁林.tb
  • 浏览: 800980 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

Transfer2.0 发布啦~

阅读更多

背景

       Transfer是一个主从多线程同步工具,直接patch在MySQL中。2011年开发完成。于去年的12.12上线,并撑住高峰期主从,保证从库无延迟,使得应用能够直接从从库上读数据。

       对Transfer1.0背景有兴趣的同学可以看我以前的一篇博客

 

新功能

       Transfer第一版本存在两个可改进的点:单表并发和事务支持。

a)      Transfer2.0支持单表并发,基本原理就是按照更新行的主键id (因此有一个限制是同步的表必须要有主键)。

b)      Transfer2.0支持slave回放主库事务时以事务为单位执行。

 

内部基本结构

Transfer1.0

为什么不直接写到slave里面?由于DBA同学觉得直接写在slave里面担心数据安全性,因此改造成第一个第三方工具。

 

Transfer2.0

       外部主库和备库的行为相同,Trasnfer内部改为

性能效果

       上周五在一个紧急项目中由于其他方案出问题,上线测试,从库tps性能从300+提升到2000+。

安装配置

       Transfer的推荐配置结构是

      Master  ==> Transfer ==> Slave

       假设你已经有Master和Slave,Transfer建议部署在slave同一个机器,当时我们上线是这么配置的,当然如果你机器多,也可以考虑放在单独一个机器,只是不必要。

       Transfer的安装步骤:

a)    附件中三个mysqld,分别是官方版本mysql-5.1.48, percona 版本5.5.18和淘宝MySQL分支5.5.18打入patch后生成的三个bin文件。

   需要你先安装你选择的对应的官方版本,然后替换mysqld。

b)   My.cnf里面的[mysqld]下新增如下几行配置:

remote_slave_hostname = 127.0.0.1
remote_slave_username = root
remote_slave_password =
remote_slave_port = 3306
transfer_slave_thread = 16
slave_skip_errors=1062,1032

 

 建议修改Slave上的配置(非必需)

  net_read_timeout=3600

  max_allowed_packet=1073741824

c)      将Slave中需要同步的表结构,导入到Transfer中。注意,只需要表结构,不需要数据。
       其中remote_slave系列配置的是一个有super权限访问Slave的帐号。
      重启即可。

在Transfer中的操作与在Slave中原本的操作相同,只是现在的关系是,Transfer注册为Master的主库,得到操作步骤后,更新Slave.

 

系统限制

        1、Master上binlog格式必须是row based

        2、每个表必须要有主键(显示的primay key)

Transfer变身Slave

       有的同学说我不想维护多一个实例。其实就so easy,只要把trasnfer的目标指向自己即可。
为了安全起见,配置规则必须是
remote_slave_hostname配置为127.0.0.1 且 remote_slave_port与Transfer端口相同。

当然,如果Transfer自己是slave,配置时还少了一步拷贝表结构

 

分享到:
评论
8 楼 aeoluspu 2013-05-14  
patch 开源了吗 ? 如果我们想把patch 打到 mysql 5.4 版本中,怎么打?
7 楼 丁林.tb 2012-12-11  
forward51 写道
5.5.18版本
配置如下:
relay-log =/usr/local/mysql5.5/log/%d/mysqld-relay-bin
relay-log-index =/usr/local/mysql5.5/log/%d/mysqld-relay-bin.index
master-info-file =/usr/local/mysql5.5/log/master.info
relay-log-info-file =/usr/local/mysql5.5/log/%d/relay-log.info

change master时出下面的错误(log下 16个数字命名的目录是建好的,权限也有):
ERROR 29 (HY000): File '/usr/local/mysql5.5/log/%d/mysqld-relay-bin.index' not found (Errcode: 2)

另外5.5.18 不支持 stop_slave_on_error = 1 了吗?


Transfer2以后不需要配置relay-log这些参数了,配置作了简化
参见此篇 http://dinglin.iteye.com/blog/1746185

若有问题,请联系我 新浪微博  @淘宝丁奇
6 楼 丁林.tb 2012-12-11  
wyjs 写道
今天发现在Error_log中会报如下错误:
[ERROR] /home/dingqi.lxb/transfer2/taobaomysql/Percona-Server-5.5.18/sql/slave.cc:2399 error event

你好,这个是可以忽略的调试信息。请换用我刚刚发布的新版本 http://dinglin.iteye.com/blog/1746185
若有问题,请联系我 新浪微博  @淘宝丁奇
5 楼 forward51 2012-12-10  
5.5.18版本
配置如下:
relay-log =/usr/local/mysql5.5/log/%d/mysqld-relay-bin
relay-log-index =/usr/local/mysql5.5/log/%d/mysqld-relay-bin.index
master-info-file =/usr/local/mysql5.5/log/master.info
relay-log-info-file =/usr/local/mysql5.5/log/%d/relay-log.info

change master时出下面的错误(log下 16个数字命名的目录是建好的,权限也有):
ERROR 29 (HY000): File '/usr/local/mysql5.5/log/%d/mysqld-relay-bin.index' not found (Errcode: 2)

另外5.5.18 不支持 stop_slave_on_error = 1 了吗?
4 楼 wyjs 2012-12-05  
今天发现在Error_log中会报如下错误:
[ERROR] /home/dingqi.lxb/transfer2/taobaomysql/Percona-Server-5.5.18/sql/slave.cc:2399 error event
3 楼 wyjs 2012-12-04  
呵呵。。谢谢你的回复,我在你的其它的blog中找到了transfer_slave_thread 这个参数。最近试验了一下,发现在使用mysql-transfer后如果在主库中新建数据库则会造成mysql-transfer的SQL Thread停止。不知道是不是我配置的问题。
2 楼 丁林.tb 2012-11-29  
wyjs 写道
非常感谢可以提供这么好的工具,不过我还有一个疑问,想请教一下,我怎么确定TransFer所启动的线程数呢?

启动的线程数肯定是从my.cnf里面取到的,比如配置16就是16。
不过你提的这个问题很好,后续我加到mysql的show variables 的返回结果里面,更友好一些。谢谢
1 楼 wyjs 2012-11-29  
非常感谢可以提供这么好的工具,不过我还有一个疑问,想请教一下,我怎么确定TransFer所启动的线程数呢?

相关推荐

Global site tag (gtag.js) - Google Analytics