如此部署！? 征集点信心 or 判个死刑

让这个帖子为了征集点信心 or 判个死刑~~~
项目接近尾声，最近在准备做项目的部署。

以下说明一下我们老板(解释见“附1”)给我讲解决的部署方式。
如图。~~~~一时在自己电脑上没找到好的工具~~就是PPT画一下啦~~
A地主机　做为我们的主力服务器。就放置在公司的机房，目地在于维护方便，开门就能拆机器，不用跑到客户那边去。
A地备份机　做为A地的一个备用服务器，防止A地主机死翘翘而准备的备份服务器。
B地主机 与A地相隔着90分钟的飞行路程，放置在B地客户公司的服务器。原因是因为A地自然灾害了B地主机还能动，B地自然灾害了A地还能动。
台湾主机 放置在台湾的一台服务器。由于有“金盾”的存在，为了让台湾用户能顺利访问系统而架设的主机。

三台主机分别使用各自安装在机器上的MySql数据库。
其中 A地主机与B地主机使用MySql的热备进行数据同步。而台湾主机则使用老板提供的一种同步方式与A地主机进行“热备”（传说中的传sql角本？没见过，只耳闻过）。
由于固定IP的价格之贵，A地与B地使用花生壳 or 3322之类的东西做为数据同步时的标识。台湾固定IP便宜，所以有固定IP。客户的访问也得通过花生壳之类。

配置情况。
几台主机的配置也就是我们平常的家用机配置，A地主机比较好一点是64位的，7K左右，其它的大概都在5K以下。
网络呢A、B地是小区宽带2M~~台湾也差不多，具体我不清楚。

客户访问时就让客户自己去选，是用A地主机的服务呢还是用B地主机的服务，台湾的就让他们访问台湾的服务。

============================我的分割线=======================
以上都是阐述而以。
这样的部署我很@#$%，不好怎么描述。也好也不好。
我说想架设一台正式点的服务器，不用弄这么“花哨”，但都被红色标出的理由拒绝了。

很是担心两点.

MySql的热备能达到期望的效果吗？可是通过2M的小区宽带+花生壳来同步的呀！

台湾与大陆的数据同步。角本文件？绕开“金盾”？

je这么多大牛，看法如何，这样的部署能成功吗？

附1：
我们项目没有项目经理，没有级别，没有上下级关系，老板一人掌握所有事情的判断权利。老板为人心思细腻，事事要求完美。

评论

64 楼 木哥哥 2009-01-13  

非固定IP不可.

建议使用压缩备份,不然sql文本金盾也有枪毙的风险.

63 楼 cocal 2009-01-12  

xidaboy 写道

这位兄弟的回复,充分说明,根本就不知道MYSQL的主从方案是怎么实现的,你哪来的两天数据同步时间,这边库改了就立即自动要复制到另一库去,所以我一直就感慨,很多人其实根本就没做过,光用嘴说,光用脑子在想,要做!要做!

我说的两天，业务需求，不行吗？

MYSQL的确不了解，但同步就那么点道道，还能弄出花来啊？麻烦这位做过兄弟普及一下，什么叫“这边库改了就立即自动要复制到另一库去”，不能容忍网络中断？不能容忍网络拥塞？网络断了再恢复是什么结果？数据库CRASH？热备损坏？需要手工干预？

我发贴的目的是奇怪这么多人想都没想就去泼冷水，LS说我做都没做就去想...呵呵。咱们还是看LZ的吧..

62 楼 myfifi 2009-01-11  

lz，虽然我自己也没有实践过这个方案。但是，看了您对方案的描述，我捏一把冷汗。现在的5M到10M带宽服务器，在有些 IDC 机房，才600元/月不到。为什么还要选择小区或者adsl之类的网络？因为您的方案中，没有把网络通信质量给考虑进去。是个风险。

注：
    我自己表达我自己的理解。请各位勿怪。

61 楼 liujia0203 2009-01-10  

最近想装宽带呢, 留意了一下小区宽带的广告, 与adsl不同, 上行和下行的速度是相同的, 如果是2M带宽并且不会有忙时带宽下降的情况, 感觉还是可以的.

60 楼 eyeqq 2009-01-09  

linliangyi2007 写道

我很负责任的说，我对硬件部署是门外汉；但也很负责任的对楼主说，这种备份方案，我做IT8年，从没听说有人敢用的。
所谓没吃过猪肉，也看过猪跑。
除非你的数据不是很重要，比如做论坛，除了问题，少两贴子也无所谓（如果这样，也不用备份这么神经了吧）；否则，你的数据同步在网络带宽如此的前提下用数据库的同步，是一定出问题的。
枪毙了吧，免得出了问题，就难看了

就是因为没见过所以才发上方案来给大家share。
最开始我对这个方案的信心是0，不过通过最近的一些实践，增加了一点点信心，起码是正数了，正几位就不讲了。
Mysql的热备是通过它的bin-log来实现的，在网上找了许久，也没有找到一些有关他的实现原理方面的文章。bin-log记录下主数据库的数据修改日志，然后由从库去比较自己的更新记录，从而实现了数据的同步。
这个过程中会发生我上一楼所说的那个问题，但数据的完整性我想是可以保证的，因为从库是通过insert语句来实现数据更新的（通过查看错误日志发现的）。
如果是基于这样的方式，网络时好时坏，对数据的破坏性也不会是很大，毕竟插入语句是整句执行的。问题只是一个同步时效性，只要在程序上面做一些时效性的隔离，效果也会还算可以。
像那位朋友说的不敢配置忽略错误，如果按照我这样的分析~~配置也是没有问题的。哈哈。有点风险罢了。

但有一个还是很担心的。bin-log的日志文件mysql默认是10M，其它的服务器是每次一点一点从这10M大的文件中拿数据呢（有个偏移量的说法，但找不到更明确的资料）？还是每次都要去下载10M大的文件？额额。。不懂原理实在太辛苦了。忘JE有DB大牛帮忙解释一下。

另外有一个朋友提到了一个赃读赃写的问题。
这个问题是很严重。但对于我们来讲这个问题不是很严重。我们业务之前的协作性不是很强。流程性的东西比较多，一般是一个流程走过去，其它外届的干扰比较少。
这个问题肯定尽量避免的好，所以会建议让一个业务组里面的用户在同一台服务器上面去做业。

设备这周过完就能架好，到时候希望能有一些有价值的东西到手。

59 楼 andot 2009-01-09  

eyeqq 写道

andot 写道

MySQL 主从备份我原来做过，我当时还是在校园网内，开始运行时确实一点问题都没有，但是后来由于经过了几次停电，网络中断等事故后（一年之内遇到几次这样的事也是正常的），数据同步就出现了问题。后来就不敢再相信 MySQL 的主从备份了。

能描述一下出了什么问题吗？
这两天的测试(网内，经同一个路由的测试)也发现了一个小问题，有时候日志上会记录数据未被同步，但是其实他是同步过去了，所以当插入数据的时候就会报ID已存在，然后同步就挂了。
加上忽略错误的配置。挂掉的情况就没了。
加上忽略错误的配置也蛮不错，还可以做环型备份~~~~好玩哪~~~

问题跟你说的差不多，就是日志执行到一些错误时同步就挂掉了，后面的数据不同步了。
忽略错误的配置我没敢加，哈哈。如果加上不会出这种问题的话，那你可以再试试，这个我就没再试过了。

58 楼 eyeqq 2009-01-09  

andot 写道

MySQL 主从备份我原来做过，我当时还是在校园网内，开始运行时确实一点问题都没有，但是后来由于经过了几次停电，网络中断等事故后（一年之内遇到几次这样的事也是正常的），数据同步就出现了问题。后来就不敢再相信 MySQL 的主从备份了。

能描述一下出了什么问题吗？
这两天的测试(网内，经同一个路由的测试)也发现了一个小问题，有时候日志上会记录数据未被同步，但是其实他是同步过去了，所以当插入数据的时候就会报ID已存在，然后同步就挂了。
加上忽略错误的配置。挂掉的情况就没了。
加上忽略错误的配置也蛮不错，还可以做环型备份~~~~好玩哪~~~

57 楼 linliangyi2007 2009-01-09  

我很负责任的说，我对硬件部署是门外汉；但也很负责任的对楼主说，这种备份方案，我做IT8年，从没听说有人敢用的。
所谓没吃过猪肉，也看过猪跑。
除非你的数据不是很重要，比如做论坛，除了问题，少两贴子也无所谓（如果这样，也不用备份这么神经了吧）；否则，你的数据同步在网络带宽如此的前提下用数据库的同步，是一定出问题的。
枪毙了吧，免得出了问题，就难看了

56 楼 xidaboy 2009-01-09  

cocal 写道

讨论了4页，为什么大多数人都不问问应用规模？还有那些说风凉话的，好像提到异地热备，言必称sina带宽，IDC级机房，你们的脑子都生锈了吗？

如果开心网或者JE用这个方案，的确会十分可笑。
但如果是小型应用环境呢？例如，A、B、C三地各有一个100人规模的分公司，每个分公司有两个财务人员（6个日常用户），这是一个小型核算系统，每天的票据总量低于1000张，五天工作制，周一早关上周的帐（有两天的数据同步时间），那么，这个方案能不能用？

说实话，我不觉得LZ的方案不能用（但mysql这么配没亲手做过），2M的带宽这个应用是够了，问题出在响应速度（PING值）和动态IP带来的不稳定，如果系统设计时考虑到这些因素，完全不会有问题，谁都知道大带宽好机房跑起来爽，但钱呢？

==================================================================================
这位兄弟的回复,充分说明,根本就不知道MYSQL的主从方案是怎么实现的,你哪来的两天数据同步时间,这边库改了就立即自动要复制到另一库去,所以我一直就感慨,很多人其实根本就没做过,光用嘴说,光用脑子在想,要做!要做!

55 楼 mreay 2009-01-09  

sdh5724 写道

楼上的用五笔的， 很稀少的程序员。

应该是很多吧。我很多同事都在用五笔。

54 楼 pipilu 2009-01-09  

持续关注中~~~

啰嗦几句

这个系统的情况（需求、程序、市场等等）楼主最清楚，怎么测试才是完备的，估计别人也不好确定（比如我，到现在还不知道为什么需要个B地的主机）。
我接触过的系统都是中心式的（树状的），面对分布式的（网状的）还是怕怕的（也不算盲目的怕吧，毕竟所有的书上都会说：相对来说，中心式的优点是好管理）。
“设备是最大的开销”——莫非，人很便宜？（比如：我们不谈钱，只谈激情），或者已经有相似的成功的案例了？

印象中，自己做过的项目，即使做完后，也是一直忙于改进和完善系统，即使系统功能和性能完善了，我们也会做些让日志规范些、加几个监督系统状态的小东东的工作。系统已经满意了，倒会去考虑一下这些花活——它还是很令人血脉喷张的。
想想我有两三个做开发的哥们儿，每个人竟然为了自己做个网站玩玩而去租台服务器（我和朋友需要异地合作开发时，就
管他们某个人借服务器）——真是造孽啊！

53 楼 linac 2009-01-08  

icewubin 写道

cocal 写道

讨论了4页，为什么大多数人都不问问应用规模？还有那些说风凉话的，好像提到异地热备，言必称sina带宽，IDC级机房，你们的脑子都生锈了吗？

如果开心网或者JE用这个方案，的确会十分可笑。
但如果是小型应用环境呢？例如，A、B、C三地各有一个100人规模的分公司，每个分公司有两个财务人员（6个日常用户），这是一个小型核算系统，每天的票据总量低于1000张，五天工作制，周一早关上周的帐（有两天的数据同步时间），那么，这个方案能不能用？

说实话，我不觉得LZ的方案不能用（但mysql这么配没亲手做过），2M的带宽这个应用是够了，问题出在响应速度（PING值）和动态IP带来的不稳定，如果系统设计时考虑到这些因素，完全不会有问题，谁都知道大带宽好机房跑起来爽，但钱呢？

你在说这个可行性的前提就是增量备份，增量备份在双向情况下，同时双向的两端都能正常提交业务数据的话，我大胆预言，每天同步数据的代码的开发工作量和测试调试工作量可能远远超过单台服务器上的软件的工作量。

要做到完美的几乎没有什么逻辑漏洞的双向数据同步，开发成本是非常高的。

顶这位兄弟。如果是无状态的数据，比如与其它记录无相关的insert操作，这样的同步就没有逻辑问题了，可以用增量备份。但是实际系统肯定复杂得的多。
举个简单的例子，张三帐上有100元，现在A地提交一个请求，要把这100元转到李四，B地同时提交一个请求，要把这100元转给王五。如果没有加锁机制，两方的操作都会成功。业务就出乱子了。因此在处理这个请求时，要把所有的数据库中相关记录先加锁，操作成功后解锁，才能保证状态的一致性。考虑到楼主提供的网络条件，操作延时估计很恐怖。

52 楼 cocal 2009-01-08  

eyeqq 写道

目前我们计划出来等等成本。非常非常小，小到只有设备是最大开销。

本来昨天是要做测试的，但是因为线路与设备的问题，模拟测试没能够进行。今天情况也是一样...-_-!
不过通过花生壳也测了一下同步的情况。但不知道这样的情况是不是走了宽带，还是说跟普通的局域是一样的。

两台可以上网的电脑（对于我们来讲是多么的珍贵..=_=!），通过一个路由上网。分别使用不同的花生壳，也就是不同域名指向同一个IP啦~~~机器上的数据库端口是让路由去分别做的映射。
然后做了一个 主-从 的备份设备，双向只是反过来做一次而以，所以没做复杂处理了。
这样的情况做的测试效果还可以，稍微有一点延迟，大概1秒左右，日常业务中找了一个最复杂的，数据量最多的一个功能，反复做了测试。没有发生什么异常情况。
不过遇到了一个问题，花生壳在机器闲置一段时间之后同步就停止了.....要重新重启Mysql才能获得数据~~~
换成3322之后这个问题在短时间没有发生。机器在那跑一个晚上，看明天会不会有什么问题。

这样只有DNS走了宽带，以后的操作都没有走电信线路，顶多经过路由器NAT处理就又回来了，测试了路由器的负载能力。
至少要各通过一台不同的路由器出去才行。

51 楼 andot 2009-01-07  

MySQL 主从备份我原来做过，我当时还是在校园网内，开始运行时确实一点问题都没有，但是后来由于经过了几次停电，网络中断等事故后（一年之内遇到几次这样的事也是正常的），数据同步就出现了问题。后来就不敢再相信 MySQL 的主从备份了。

50 楼 eyeqq 2009-01-07  

icewubin 写道

从概念上来讲，他们这么做等于自己实现了一个分布式的数据同步，工作量再小也小不到哪里去。

再次强调，这种方式调试成本、部署成本、维护成本、运维成本是非常高的，不仅仅是开发成本。

目前我们计划出来等等成本。非常非常小，小到只有设备是最大开销。

本来昨天是要做测试的，但是因为线路与设备的问题，模拟测试没能够进行。今天情况也是一样...-_-!
不过通过花生壳也测了一下同步的情况。但不知道这样的情况是不是走了宽带，还是说跟普通的局域是一样的。

两台可以上网的电脑（对于我们来讲是多么的珍贵..=_=!），通过一个路由上网。分别使用不同的花生壳，也就是不同域名指向同一个IP啦~~~机器上的数据库端口是让路由去分别做的映射。
然后做了一个 主-从 的备份设备，双向只是反过来做一次而以，所以没做复杂处理了。
这样的情况做的测试效果还可以，稍微有一点延迟，大概1秒左右，日常业务中找了一个最复杂的，数据量最多的一个功能，反复做了测试。没有发生什么异常情况。
不过遇到了一个问题，花生壳在机器闲置一段时间之后同步就停止了.....要重新重启Mysql才能获得数据~~~
换成3322之后这个问题在短时间没有发生。机器在那跑一个晚上，看明天会不会有什么问题。

49 楼 icewubin 2009-01-07  

cocal 写道

icewubin 写道

你在说这个可行性的前提就是增量备份，增量备份在双向情况下，同时双向的两端都能正常提交业务数据的话，我大胆预言，每天同步数据的代码的开发工作量和测试调试工作量可能远远超过单台服务器上的软件的工作量。

要做到完美的几乎没有什么逻辑漏洞的双向数据同步，开发成本是非常高的。

两点观点：
1.要看系统规模和业务复杂度、实时性要求，尤其是三地业务的关联度。
2.开发工作量大多少不好说，设计工作量应该会大一些，如果设计的好，开发量应该增加有限，如果设计不好，再大开发量都弄不出来也不奇怪。

从概念上来讲，他们这么做等于自己实现了一个分布式的数据同步，工作量再小也小不到哪里去。

再次强调，这种方式调试成本、部署成本、维护成本、运维成本是非常高的，不仅仅是开发成本。

48 楼 jiachengxi38 2009-01-07  

   我们公司搞的是oracle的异地容灾及安全方面的产品。你们公司这个方案不知道所需要备份的数据量到底有多大，要是小，也用不着这么复杂的构架，还双向备份，不知道你们的应用程序本身对机器消耗比较小吧？  如果数据量大，你们这样的机器配合像服务器一样挂着，能维持多长时间呢，操作系统也用win？

47 楼 LucasLee 2009-01-06  

快递公司？
嗯，估计每天一个点的单据在2000-3000左右吧。
不同的服务器可以互为备份，但不是热备。简单点，oracle里就是用脚本自动export，然后上传到异地服务器上就行了。
这样每天晚上执行一次。
如果数据库损坏，则最多丢失一天的业务数据。
这个方案倒是简便可行的。

但是，用小区宽带接业务服务器，然后你们业务员都往这里操作数据，估计你们的业务风险会比较高。ADSL的上行带宽一般都是512k。

46 楼 icelander 2009-01-06  

还是用服务器比较好～

45 楼 cocal 2009-01-06  

icewubin 写道

你在说这个可行性的前提就是增量备份，增量备份在双向情况下，同时双向的两端都能正常提交业务数据的话，我大胆预言，每天同步数据的代码的开发工作量和测试调试工作量可能远远超过单台服务器上的软件的工作量。

要做到完美的几乎没有什么逻辑漏洞的双向数据同步，开发成本是非常高的。

两点观点：
1.要看系统规模和业务复杂度、实时性要求，尤其是三地业务的关联度。
2.开发工作量大多少不好说，设计工作量应该会大一些，如果设计的好，开发量应该增加有限，如果设计不好，再大开发量都弄不出来也不奇怪。