亚马逊云平台的迁移过程

0顶
0踩

2014-10-13 16:32 by 副主编 mengyidan1988 评论(0) 有5172人浏览

亚马逊云计算

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

【导读】本文转自Bruce Dou的博客，作者分别从成熟老系统的常见问题、迁移过程需要考虑的问题以及迁移后带来的收益谈起，详细介绍了亚马逊云平台的的迁移过程及注意事项。
最近3个月变化很多，离开呆了5年多的北京，开始英国的工作和生活。到这之后基本在做系统向亚马逊云平台的迁移，踩了不少坑，收获也很多。由于系统的迁移涉及各个常见的架构组件，边边角角的细节很多。和大部分系统一样，长时间野蛮成长积累了很多问题。这样的老系统迁移到新平台意味着你需要处理所有之前埋下的问题。公司之前聘请了亚马逊推荐的第三方咨询服务工作在做迁移，但是由于问题太多，拖了很长时间没有完成。
成熟老系统常见的问题：

1. 缺乏文档

这应该是大小公司都存在的问题。文档会极大降低开发效率，并且互联网项目的特点是易变和追求速度，详细文档不是很好的方案。这就要求方案和细节设计上的合理性和不要做 “精巧”方案。结构化设计，不要零散的组成，这样其他人即使没有文档也可以理解。

2. 项目中临时方案太多

导致后来看起来很别扭而且不容易理解，半截工程。系统中存在大量“精巧”的设计，导致后来者难以理解。这也告诉我们做设计的时候尽量简单通俗易懂，项目设计的可沟通性也是很重要的一方面。某位工程师说自己花了1周的时间才搞明白Postfix的收邮件并自动解析的过程是怎么运行的。

3. 代码质量参差不齐

代码质量问题每个大点的团队都没法保证，保持代码库的干净很重要。

4. 繁杂的业务

5. 代码的Bug和代码对环境的兼容性

之前的系统使用配置文件做主从读写分离，配置文件由其他系统控制。但是配置文件确保留在代码库中，这意味着假如代码回滚或者 check 分支出错，配置文件会发生改变。不该发生的全会发生，这样的事情确实发生了。导致部分操作写入从库，从库与主库同步失败，典型的脑裂问题。最后只好花了很长时间重做从库的同步。这样的问题处理并不复杂，复杂的在于如何发现这个问题的原因。业务系统各种奇怪的表现，有时候很难想到问题的根源。

迁移过程需要考虑的问题：

1. 完善测试

性能测试可以采取流量镜像复制，读操作有很多简单可靠的流量复制工具，有时候根本不需要一个高大上的流量复制系统。并且大部分系统都是读多写少，测试不是什么难题。

功能性测试只能尽量做足，让熟悉系统的用户进行。

2. 无缝迁移

整个过程基本实现了平滑无缝迁移，系统的没有停止 1 分钟运行。由于项目的特点，比较少写操作，重点是读，暂停写操作后作将 HaProxy 后端逐步指向新集群，等全部流量导入新集群后修改 DNS 指向新集群。这里还涉及到 DNS TTL 从长变短再变长的修改过程。

缓存预热很重要，尤其是数据库的预热，这就要求新集群流量导入逐步进行，防止对整站延迟的影响。

3. 回退方案

由于暂时停止写操作，即使流量导入到新集群后测试发现问题仍然可以指回旧集群。

4. 改进还是保持原状

由于架构组件的选择余地很大，之前的各个组件的配置是否合理需要很长时间 Review。这里就要权衡保持原状还是一次性做好优化。比较好的方案是如果不是 BUG 则保持原状，等系统完成迁移再进行改进。

5. 性能的持续监控和对比测试

性能监控工具已经非常成熟了，比如 AppNeta 和 New Relic , 基本可以把控各个组件的性能。在迁移之前也可以进行镜像流量复制对比测试新旧集群的性能。

迁移带来的收益：

1. 重新设计的发布自动化

业务代码、系统配置、云架构配置的分离，任何操作的版本化，可回退。

2. 弹性扩展，总体成本的降低

迁移到亚马逊的主要原因就是高低峰流量差异很大。迁移后低峰期可以节约 1 半的机器成本。

3. 跨区域容灾，无单点故障

实现了 Multi-AZ，任意单点故障不影响业务运行。Web 前端服务器可以随手关掉，数据库的升级，配置改动也无任何影响，当然这归功于 RDS Multi-AZ 功能。

4. 运维难度的降低，无需运维

系统会自动根据负载进行增减机器，所以无需担心压力大把机器打垮，单机器的各种故障也无需人工处理。
来自：[url="http://blog.eood.cn/aws_cloud_migration" target="_blank"]Bruce Dou Blog[/url]

来自: Bruce Dou Blog

分享到：

0
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

RailsGacl Rails应用通用访问控制列表

RailsGACL 是大名鼎鼎的 PhpGACL 的 Rails 版本. 　RailsGACL 是一组允许你控制对象(用户,远程主机等)访问其他对象（网页，数据库等）权限的函数. 　该组函数可以通过简单的管理提供高精度的访问控制,并且运行地...

RailsGACL手册(介绍)

(整理好的说明以后会包含在程序包里面) [img]http://www.iteye.com/topics/download/f8cb1e25-024f-4803-8185-551a23debaa7[/img]

RailsGACL手册

[size=18][color=darkred][b]基于 Rails 的通用访问控制列表[/b][/...　RailsGACL 是一组允许你控制对象(用户,远程主机等)访问其他对象（网页，数据库等）权限的函数. 　该组函数可以通过简单的管理提供高精度的...

RailsGACL手册(使用)

代码已更新请到 [url]http://freeboat.iteye.com/blog/28753[/url] 重新下载 [img]http://freeboat.iteye.com/topics/download/3b9b53d7-a73d-4088-808e-0ca980487b9e[/img]

RailsGACL Debug

administrator_controll.rb 第 855 行修改成 if oldgroup.parent_id != parent_id 在第 861 行下面添加 oldgroup.parent_id = parent_id :oops:

RailsGACL使用疑问

那么你的RailsGACL能够提供给使用RailsGACL的系统做这样的单独的GACL控制吗？你例子中提到的是版面访问，那么比如这样的需求，我的博客上有篇草稿,需要几个好友帮助修改下.那么我首先需要对这篇草稿针对这几个...

RailsGACL 新版（UTF8格式）

修改了系统中的一些错误，最大的改变就是把原来的 GBK 格式修改成了 UTF8 格式，还有已经把数据库的前缀去掉了，方便使用：）制作匆忙，可能有不全之处，发现问题还望指出 ...

spring-ai-bedrock-converse-1.0.0-M7.jar中文文档.zip

# 【spring-ai-bedrock-converse-1.0.0-M7.jar中文文档.zip】中包含：中文文档：【spring-ai-bedrock-converse-1.0.0-M7-javadoc-API文档-中文(简体)版.zip】 jar包下载地址：【spring-ai-bedrock-converse-1.0.0-M7.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖：【spring-ai-bedrock-converse-1.0.0-M7.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖：【spring-ai-bedrock-converse-1.0.0-M7.jar Gradle依赖信息(可用于项目build.gradle).txt】源代码下载地址：【spring-ai-bedrock-converse-1.0.0-M7-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字： spring-ai-bedrock-converse-1.0.0-M7.jar中文文档.zip,java,spring-ai-bedrock-converse-1.0.0-M7.jar,org.springframework.ai,spring-ai-bedrock-converse,1.0.0-M7,org.springframework.ai.bedrock.converse,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,springframework,spring,ai,bedrock,converse,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法：解压【spring-ai-bedrock-converse-1

房地产 -可视化管理课件.ppt

tokenizers-0.18.0.jar中文-英文对照文档.zip

# 【tokenizers-***.jar***文档.zip】中包含： ***文档：【tokenizers-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址：【tokenizers-***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖：【tokenizers-***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖：【tokenizers-***.jar Gradle依赖信息(可用于项目build.gradle).txt】源代码下载地址：【tokenizers-***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字： tokenizers-***.jar***文档.zip,java,tokenizers-***.jar,ai.djl.huggingface,tokenizers,***,ai.djl.engine.rust,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,djl,huggingface,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法：解压【tokenizers-***.jar***文档.zip】，再解压其中的【tokenizers-***-javadoc-API文档-中文(简体)版.zip】，双击【index.html】文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码等。 # 温馨提示：（1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）；（2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件； # Maven依赖： ``` <dependency> <groupId>ai.djl.huggingface</groupId> <artifactId>tokenizers</artifactId> <version>***</version> </dependency> ``` # Gradle依赖： ``` Gradle: implementation group: 'ai.djl.huggingface', name: 'tokenizers', version: '***' Gradle (Short): implementation 'ai.djl.huggingface:tokenizers:***' Gradle (Kotlin): implementation("ai.djl.huggingface:tokenizers:***") ``` # 含有的 Java package（包）： ``` ai.djl.engine.rust ai.djl.engine.rust.zoo ai.djl.huggingface.tokenizers ai.djl.huggingface.tokenizers.jni ai.djl.huggingface.translator ai.djl.huggingface.zoo ``` # 含有的 Java class（类）： ``` ai.djl.engine.rust.RsEngine ai.djl.engine.rust.RsEngineProvider ai.djl.engine.rust.RsModel ai.djl.engine.rust.RsNDArray ai.djl.engine.rust.RsNDArrayEx ai.djl.engine.rust.RsNDArrayIndexer ai.djl.engine.rust.RsNDManager ai.djl.engine.rust.RsSymbolBlock ai.djl.engine.rust.RustLibrary ai.djl.engine.rust.zoo.RsModelZoo ai.djl.engine.rust.zoo.RsZooProvider ai.djl.huggingface.tokenizers.Encoding ai.djl.huggingface.tokenizers.HuggingFaceTokenizer ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.Builder ai.djl.hu

基于MATLAB的BP神经网络预测模型构建与应用

内容概要：本文详细介绍了如何使用MATLAB构建和应用BP神经网络预测模型。首先，通过读取Excel数据并进行预处理，如归一化处理，确保数据的一致性和有效性。接着，配置网络结构，选择合适的训练算法（如SCG），设置训练参数（如最大迭代次数、目标误差等）。然后，进行模型训练，并通过可视化窗口实时监控训练过程。训练完成后，利用测试集评估模型性能，计算均方误差（MSE）和相关系数（R²），并通过图表展示预测效果。最后，将训练好的模型保存以便后续调用，并提供了一个简单的预测函数，确保新数据能够正确地进行归一化和预测。适合人群：具有一定MATLAB基础，从事数据分析、机器学习领域的研究人员和技术人员。使用场景及目标：适用于需要对多维数据进行预测的任务，如电力负荷预测、金融数据分析等。主要目标是帮助用户快速搭建一个可用的BP神经网络预测系统，提高预测准确性。其他说明：文中提供了完整的代码框架和详细的注释，便于理解和修改。同时，强调了数据预处理的重要性以及一些常见的注意事项，如数据量的要求、归一化的必要性等。

tokenizers-0.22.1.jar中文-英文对照文档.zip

基于蒙特卡洛算法的电动汽车对IEEE 33节点电网影响的研究及应用场景分析

内容概要：本文探讨了电动汽车（EV）对IEEE 33节点电网的影响，特别是汽车负荷预测与节点潮流网损、压损计算。通过蒙特卡洛算法模拟电动汽车负荷的时空特性，研究了四种不同场景下电动汽车接入电网的影响。具体包括：负荷接入前后的网损与电压计算、不同节点接入时的变化、不同时段充电的影响以及不同负荷大小对电网的影响。通过这些分析，揭示了电动汽车充电行为对电网的具体影响机制，为未来的电网规划和优化提供了重要参考。适合人群：从事电力系统研究的专业人士、电网规划工程师、电动汽车行业从业者、能源政策制定者。使用场景及目标：①评估电动汽车大规模接入对现有电网基础设施的压力；②优化电动汽车充电设施的布局和运营策略；③为相关政策和技术标准的制定提供科学依据。其他说明：文中提供的Python代码片段用于辅助理解和验证理论分析，实际应用中需要更复杂的模型和详细的电网参数。

房地产 -【万科经典-第五园】第五园产品推介会.ppt

稳压器件.SchLib

1.jpg

模拟符号.SCHLIB

基于Simulink的三相电压型逆变器SPWM与电压单闭环控制仿真

内容概要：本文详细介绍了如何在Simulink中构建并仿真三相电压型逆变器的SPWM调制和电压单闭环控制系统。首先，搭建了由六个IGBT组成的三相全桥逆变电路，并设置了LC滤波器和1000V直流电源。接着，利用PWM Generator模块生成SPWM波形，设置载波频率为2kHz，调制波为50Hz工频正弦波。为了实现精确的电压控制，采用了abc/dq变换将三相电压信号转换到旋转坐标系，并通过锁相环（PLL）进行同步角度跟踪。电压闭环控制使用了带有抗饱和处理的PI调节器，确保输出电压稳定。此外，文中还讨论了标幺值处理方法及其优势，以及如何通过FFT分析验证输出波形的质量。适用人群：电力电子工程师、自动化控制专业学生、从事逆变器研究的技术人员。使用场景及目标：适用于希望深入了解三相电压型逆变器控制原理和技术实现的研究人员和工程师。主要目标是掌握SPWM调制技术和电压单闭环控制的设计与调试方法，提高系统的稳定性和效率。其他说明：文中提供了详细的建模步骤和参数设置指南，帮助读者快速上手并在实践中不断优化模型性能。同时，强调了一些常见的调试技巧和注意事项，如载波频率的选择、积分器防饱和处理等。

【蓝桥杯EDA】客观题解析：第十三届立创EDA出品省赛模拟题一.pdf

【蓝桥杯EDA】客观题解析

0顶0踩