Instagram是如何利用10个月时间顺利迁移到Python 3

资讯频道 → 行业应用

0顶
0踩

2017-06-26 15:06 by 副主编 jihong10102006 评论(0) 有12223人浏览

Instagram Python

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用

原文：Instagram Makes a Smooth Move to Python 3
作者：Michelle Gienow
翻译：Vincent

译者注：本文讲述了参与到Instagram迁移工作的两位工程师，Hui Ding和Lisa Guo，他们是如何看待Instagram迁移到Python 3的，以及迁移的原因和好处。以下为译文。

现在每天在Instagram平台上分享的照片和视频的数量已经超过9500万。照片中心社交媒体平台拥有6亿多注册用户—其中活跃用户每天大概有4亿人。谈谈规模经营：当规模达到了大多数公司做梦都不敢想的阶段以后，Instagram却选择了放弃。

尽管如此，令人印象更深刻的是Instagram在后台是通过Python（当然Django也提供了一点帮助）才能为如此大的访问量提供可靠而稳定的响应。没错，就是Python-就是那门非常容易学习，但是通用性却非常高的编程语言。业内所有人都认为:“是的，Python在很多方面都很出色，但它没办法做到可扩展。”

每天四亿用户。Instagram不仅成为了世界上最大的Python用户，而且该公司最近还将其顺利地转移到Python 3，用户丝毫没有体验到有任何中断。Instagram工程师Hui Ding和Lisa Guo最近接受了The New Stack的访问，他们分享了他们对Python的热爱，并描述了Python 3的迁移体验。

首先请问，Instagram最初为什么会选择使用Python呢?

Hui Ding：我是在Instagram被收购以后，作为第一批进入到Instagram的一员[Instagram成立于2010年，由Facebook在2012年收购]。从那时起，我们从原本的6名工程师变成了300名。尽管最初的时候我并不是其中一员，但是在我们还是一个很小的团队的初期，我和[Instagram的联合创始人] Mike Krieger密切合作，所以我有很多关于为什么选择Python的历史背景。

其原因与Instagram的“先做简单事情”的工程座右铭是一致的:对工程师来说，Python是非常容易掌握使用的——它很容易上手，也很容易获得产品，让团队专注于面向用户的功能。Python简洁干净，有利于实用主义。这是一项已被证实的技术。最后，Python是一门非常流行的语言，这使得工程团队的发展变得更加容易。

是什么问题促使Instagram开始考虑了新的堆栈?

Ding：随着我们的发展，我们发现Python并不是最快的语言，而且越来越明显的。AWS也越来越倾向于通过部署更多的服务器来解决速度问题。但是有一点是递减的——在一定程度上，性能回归比用户增长有更多的资源。从现在开始三到五年内，我们估计有10亿用户会加入到社区中，所以是时候开始考虑其他方案了。我们的第一个问题是需要证明切换以后要有足够高的回报。

Instagram用户的增长正在稳步上升——但增速并不像服务器增长那么快

Lisa Guo:我们面临着一个非常大的挑战：在服务器上增加网络的I/O活动。因此，我们需要一种更并行的方式来处理用户请求。实际上，PHP和Python是Facebook最受支持的生态系统，其他任何平台既需要学习曲线，又需要对工程师进行大量新知识的培训。

所以我们做了一个公共投票活动：“与使用PHP进行开发相比，Facebook更应该使用哪一门语言进行服务器端的开发？”

Ding:如果我们看到了性能得到大幅度的提升的话，那么我们就会改变，但最终这些成果都没有展示出来。

所以这些数字并不是很有说服力，我们已经有了很多工具，对Python也投入了很多。使用python/django栈，我们的用户量也达到了几亿，所以我们决定继续使用Python。同样重要的是，我们的工程师非常喜欢Python。这也是他们想要为我们工作的原因。

这就是为什么团队选择python 3的原因吗？

Ding:当时的决定是，我们是否投入到一个相对成熟的版本，但是却不会弃用Python的—或者选择Python的下一个版本?因为下一个版本得到了越来越多的社区支持。这是有道理的，如果我们要在接下来的十年里继续使用Python，我们应该使用Python的最新版本。在我们决定使用Python 3之后不久，我们宣布在2020年以后将不再支持v2.7。

性能速度不再是主要的问题，取而代之的是何时能推向市场。 – Hui Ding

Guo:使用Python 3有三个主要动机：首先，Python不是那种传统意义上的语言，所以当我们开始编写新代码时，开发过程中会出现很多冲突。所以对我们来说，一个很大的动机就是Python宣布了从v3.5版本开始支持typing-我们的开发者对这个消息感到非常兴奋。

其次，网络问题日益成为瓶颈。

第三，Python的速度并不快，但是每一个新版本的运行速度都更快——v2.7，每个人都努力使它运行的更快。随着新版本的发布，我们会得到Python社区的支持，我们也会对社区做出贡献。

那迁移的过程是怎样的？

Guo：总的来说，花了大约十个月，都是处于不同的阶段。

首先，团队修改了大量的代码。这花了2到3个月的时间，包括将不兼容的第三方包替换为支持Python 3的包，工作规则是“没有Python 3，没有新的包”，还删除了未使用的包。

然后进行单元测试，花了两个月的时间。然后，我们在四个多月的时间里进行了缓慢但稳定的新版本的推出。到2017年2月初，我们已经完全运行了Python 3。

Instagram的基础设施工程团队花了10个月的时间完成了向Python 3的迁移。

团队究竟是如何实现无缝对接的呢？

Guo:一个重要的因素是，如果你看过了我们是如何迁移的，你就会知道我们会不断地检查主分支的小变化，所以我们从来没有合并过很大的调整。先解决比较多且影响范围大的bug，然后再迭代更新那些影响范围小的bug:这就是我们快速前进的同时还保持住稳定性的关键方法。

Ding:也并不是说迁移工作如此顺利就绝对不会产生任何问题了，因为毕竟这两个版本是不兼容的。
关键是要提前花时间彻底地解决你的问题。我们从分析设计开始，对潜在的好处和权衡有一个清晰的认识。仔细分析问题真的会有好处，然后再做最合理的事情。也就是说，先做简单的事情并不意味着我们的进展就会延缓，或者我们不承担风险。

切换：Python 2和Python 3之间的无缝转换，不会干扰用户体验。

从那以后，Python 3的表现如何?
Ding:我们没有对Python 3的性能有预期的期望。因此，当我们看到节省了12%的CPU(使用uswgi/django的原因)和30%的内存(使用celery的原因)，我们真的感到非常的惊喜。距离推出仅4个月，我们预计性能不会一直保持10%的提升，但这真的是一个非常好的开端。

我们最常使用的一种机制是Thrift，它是用Python编写的，我们Facebook的团队正在努力使其序列化速度更快。

对于那些正在考虑迁移到Python 3的工程师们，你给他们最后的建议是？

Guo:我最了解的是，“我该如何说服经理去使用Python？”由于Python的声誉缓慢，所以很难出售。但效率工作是我的专长，Python的效率对我来说是一个很大的吸引力，所以通过改善效率可以缓解由于速度问题带来的困扰。

Ding:性能速度不再是主要的问题，取而代之的是何时能推向市场。

Guo:所以我的建议是，先从一个小模块开始，这样你就能感受到它带来的好处——那会让更多的人对改变感兴趣。