资讯频道 → 研发管理
阅读更多

0顶
1踩

研发管理

原创新闻 Yelp是如何做到每天运行成千上万个测试

2017-05-19 10:41 by 副主编 jihong10102006 评论(0) 有4529人浏览
Yelp 测试

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

引用
原文：How Yelp Runs Millions of Tests Every Day
作者：Chunky G.
翻译：贺雨言

快速进行功能开发对企业至关重要，开发团队都试图通过减少测试、配置和监控变化的时间来提高开发人员的效率。为了让开发人员安全地敲代码，Yelp使用内部分布式系统Seagull运行2000多万个测试。
\
什么是Seagull？

Seagull是一个容错和故障恢复的分布式系统，用来并行执行测试包。Seagull由以下几部分组成：
  • Apache Mesos（管理Seagull集群上的资源）
  • AWS EC2（提供组成Seagull和Jenkins集群的实例）
  • AWS DynamoDB（存储调度器的元数据）
  • Docker（隔离测试需要的服务）
  • Elasticsearch（追踪测试运行次数和集群使用数据）
  • Jenkins（搭建代码项目并运行Seagull调度器）
  • Kibana和SignalFx（提供监控和报警）
  • AWS S3（为测试日志提供真实数据来源
挑战

在准备单片Web应用和Yelp主机配置新的生产代码之前，Yelp开发人员在特定的主机上运行整个测试包。测试前，开发人员需启动用来调度集群测试的Seagull。以下两点需要着重考虑：
  • 性能：每个Seagull-run包含将近10万个测试，依次运行完毕需要大约2天时间。
  • 规模：通常一天有300多个seagull-runs在运行，高峰时段要同时运行30-40个测试。
这项任务的挑战在于执行每一个Seagull-run所花费的时间是以“分钟”而不是以“天”来计算，同时保证在这个时间段内成本效益好。

Seagull怎样运作？

首先，开发人员在控制台启动Seagull-run，即启动Jenkins搭建代码项目并生成测试列表。然后，将测试打包传给Seagull集群上的调度器进行测试。最后，将测试结果存储在Elasticsearch和S3中。

1、开发人员为特定的代码版本（基于其分支git SHAs）启动Seagull-run，设git分支为test_branch。
2、生成test_branch的代码项目和测试列表并上传到S3。
3、Bin Packer抓取测试列表和测试的历史时序元数据，从而构建包含测试的多包。有效打包是一个装箱问题，可以用以下两个算法解决，（选择哪种算法）取决于研发人员传给Seagull的参数：
（1）、贪婪算法：首先根据历史测试时长将测试分类，然后将测试时长设置为10分钟的测试归档。
（2）、线性规划（LP）：为了防止相关测试，一个测试需要和另一个测试在同一个包里运行。因此，我们使用LP进行打包，LP方程的目标函数和约束条件定义如下：
    1）目标函数：对生成的包总数取最小值
    2）主要约束条件：
                单包的测试时长少于10分钟；
                一个测试只能放入一个包；
                相关测试放入同一个包。

我们使用Pulp LP解算器求解方程： 
# Objective function:
problem = LpProblem('Minimize bundles', LpMinimize)
problem += lpSum([bundle[i] for i in range(max_bundles)]), 'Objective: Minimize bundles'

# One of the constraint, constraint (1), looks like:
for i in range(max_bundles):
    sum_of_test_durations = 0
    for test in all_tests:
        sum_of_test_durations += test_bundle[test, i] * test_durations[test]
    problem += (sum_of_test_durations) <= bundle_max_duration * bundle[i], ''

其中，bundle和test_bundle是LP变量，max_bundles和bundle_max_duration是整数。

通常，在LP约束条件中，我们会考虑测试用例的搭建和解除的时长，但是为了简便，在这里我们忽略不计。
4、在Jenkins主机上启动调度器进程，Jenkins主机抓包然后搭建mesos架构。我们为每一个Seagull-run创立一个新的调度器。每一次运行生成300多个包，将运行时长在10分钟左右的包归为一类。调度器为每一个包建立一个Mesos执行器，只要Mesos控制器提供充足的资源，就将Mesos执行器列入Seagull集群时间计划表。
5、一旦执行器被列入到集群，执行器内部将进行以下步骤：

每一个执行器建立一个沙箱，从S3（在步骤（2）中已上传）下载新建项目。然后下载对应于相关测试服务的Docker图片就可以建立Docker容器（服务）了。当所有的容器都启动并运行，就开始进行测试了。最后，测试结果和元数据存储在Elasticsearch（ES）和S3中。我们用内部代理服务Apollo写入ES。

如果你生活在一个分布式系统的世界，你一定无法避免主机故障。Seagull对任何实例故障都具有容错功能。

例如，假设一个调度器要运行两个包。Mesos会提供一个代理（A1）的资源给调度器。假设调度器认为资源充足，那么这两个包会被安排在A1上。假如出于某种原因，A1出故障了，那么Mesos会通知到调度器。调度器的任务管理器决定重试或者丢弃那两个包。如果重试，当Mesos下一次提供充分的资源（这种情况下，是提供代理A2的资源）时，那两个包会被重新安排到时间计划表里。为了防止包被丢弃，调度器会将那两个包测试标记为“未执行”。
6. Seagull UI用Apollo从ES获取结果，并将结果加载到UI供开发人员查看。如果结果全部通过，就可以准备配置了。

规模化挑战

为了确保测试包的及时性，尤其是在高峰期，Seagull集群需要保证大量实例一直处于可用状态。之前我们使用AWS的按需实例AWS ASGs，但对我们来说，要想达到这个容量成本太高了。

为了降低成本，我们开始使用一个叫FleetMiser的内部工具去维持Seagull集群。FleetMiser是一个用来测量基于不同信号的集群的自动缩放引擎，这些信号包括当前集群使用率、管道内的流量数等等。FleeMiser主要由以下两部分组成：
  • AWS Spot Fleet：AWS有现场实例，现场实例比按需实例成本低很多，Spot Fleet能提供交互界面更简单的现场实例。
  • 自动缩放：集群的使用时间不稳定，使用高峰主要集中在10:00-19:00（太平洋标准时间），此时，开发人员工作强度最大。为了动态调整范围，FleetMiser使用集群在不同优先级别下的当前和历史使用数据。Seagull集群每天的波动范围大概介于1500CPU内核和10000CPU内核之间。

FleeMiser为我们的集群节省了大约80%的成本。在使用FleetMiser之前，我们是使用AWS按需实例，没有自动缩放功能。

总结
Seagull使测试结果时长从2天缩短到了30分钟，同时也大大降低了执行成本。从今以后，开发人员可以安心敲代码，不用再花大量时间等待验证变化却束手无策。
  • 大小: 26.8 KB
  • 大小: 186.8 KB
  • 大小: 51.9 KB
  • 大小: 121.6 KB
  • 大小: 14.7 KB
  • 大小: 39.2 KB
0
顶
1
踩
评论 共 0 条 请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 干货 | Yelp是如何使用Docker的？

    本文讲的是干货 | Yelp是如何使用...每天都有成千上万的人在使用Yelp的SeatMe来完成餐厅预订服务。这篇博客将会深入地讲解Yelp是如何使用Docker来开发并部署SeatMe系统的。Docker是一个非常强大的生产环境助推器，它...

  • YELP NLP 文本信息提取项目

    为了做研究，进了Yelp这个大坑。自己选的题，哭着也得搞出来… 感觉边写代码边记录下心得体会、下一步的构想等等有的没的，是个很好的整理思路的过程。所以我接下来会长篇累牍地写自己在做这个项目的过程中所遇到的...

  • Yelp，如何使用深度学习对商业照片进行分类

    Yelp是美国最大点评网站，拥有世界各地的Yelper上传的成千上万的照片。各种各样的照片给进入当地的商业提供了一个丰富的窗口。通过开发一个照片理解系统使Yelp能够创建有关个人照片的语义数据。跟Yelp第一次在基于...

  • python数据分析六个环节_六个鲜为人知的python数据分析库

    Python 提供了高质量的环境和丰富的第三方库为开发者提供数据分析支持。不管是数据处理还是数据 可视化等等， 都有许多有用的库。一些库非常有名：Pandas， Numpy，...mrjobmrjob是一个帮助你写用Python写MapRe...

  • 为什么私有云的定位应该是PaaS，而不是IaaS？

    本文讲的是为什么私有云的定位应该是PaaS，而不是IaaS，【编者的话】IT界已经对私有云架构争论了好久，虽然有很对公司尝试了Iaas私有云方案，但始终不尽如人意，因为把目光仅仅集中在Iaas上是一个一开始就错误的想法...

  • 机器学习与深度学习资料整理

    介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。 https://www.youtube.com/user/smolix  （国内或许不能访问） 《Awesome Machine Learning》 介绍：一个超级完整的机器学习...

  • 机器学习与深度学习资料

    介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。 https://www.youtube.com/user/smolix  （国内或许不能访问） 《Awesome Machine Learning》 介绍：一个超级完整的...

  • 深度学习和机器学习的相关资料

    介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。 https://www.youtube.com/user/smolix  （需翻墙） 《Awesome Machine Learning》 介绍：一个超级完整的...

  • 机器学习(Machine Learning)&深度学习(Deep Learning)资料

    介绍：每天请一个大牛来讲座，主要涉及机器学习，大数据分析，并行计算以及人脑研究。 https://www.youtube.com/user/smolix  （需翻墙） 《Awesome Machine Learning》 介绍：一个超级完整的机器学习...

  • python公司一般都是什么样的公司-人们对Python在企业级开发中的10大误解

    全世界有数以百万计的Python开发人员，几十个Python会议，StackOveflow上几万个Python相关的问题，一些公司，如YouTube，美国银行，和LucasArts/Dreamworks雇用了成千上万的Python开发人员。在eBay和PayPal，我们有...

  • 谷歌算法统治互联网的秘诀

    这是一个很普通的搜索，谷歌每天要处理成千上万的这种搜索。但事实上这一搜索过程十分复杂，可能使一些搜索引擎误解。如果把这些单词输入到必应，第一个结果是美国国家橄榄球联盟的历年球员名单，其中有一个名叫...

  • linkedin爬虫_我是如何使LinkedIn接触者添加机器人的-实际得到了一些采访

    您可以在此处输入任何JavaScript代码进行测试。 您可以使用输入的代码与浏览器中打开的页面进行交互。 For example, try typing in the following code in the console and press Enter. 例如，尝试在控制台中输入...

  • 被10大谬论害惨的编程语言（Python）

    伴随着所有的初创公司正在使用它以及孩子们最近也在学习它的事实，这个谬误为何仍然存在是可以理解的。实际上 Python 已经 超过23岁了, 它最初发布于1991年, 早于 HTTP 1.0协议 5年且早于 Java 4年. 目前比较有著名...

  • python简单程序实例-python简单项目实例

    语言多元化是PayPal编程文化中一个重要的组成部分。在C++和Java长期流行的同时，更多的团队选择了Jva和Scala。同时，Braintree的收购也引入了一个久经世故的Ruby社区。Python作为一门特别的语言，在eBay和PayPal有很...

  • Python不能用于大型项目？人们对Python的十大误解

    而存在一个不争而有趣的事实是， Python 是比Java更加强类型的. Java 对于原生类型和对象区分了类型系统，它让null存在于一个灰色地带. 另一方面，现代的 Python 拥有一个统一的强类型系统, 其中什么都没有（None） ...

  • 谁说不能用 Python开发企业应用？

    点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文Be true to who you are. Stop trying to please other people or be someone else. It’s better to be an original ...

  • 电机控制领域Harnefors观测器的Matlab仿真模型及其在PMSM无感控制中的高效应用

    内容概要：本文详细介绍了Harnefors观测器在永磁同步电机（PMSM）无感控制中的应用，特别是其在Matlab 2020b环境下的仿真模型。Harnefors观测器以其简洁的十行核心代码实现了对电机角度的精确估算，仅需调整单一参数lambda即可应对各种工况。文中展示了该观测器在初始角度误差极大情况下的优异收敛性能，以及在带载启动和多种速度指令下的稳定性。此外，模型中引入的有效磁链概念使得同一观测器能够兼容表贴式和内嵌式电机，进一步提升了其实用性和灵活性。仿真结果显示，该观测器不仅能在极端条件下迅速收敛，还能在不同电机参数下保持稳定的性能表现。 适合人群：从事电机控制系统设计与开发的技术人员，尤其是关注无感FOC技术和观测器优化的研究人员。 使用场景及目标：①用于研究和开发高性能无感FOC系统；②评估和改进现有电机控制系统的观测器设计；③为初学者提供一个简洁而高效的观测器实现案例，帮助理解和掌握相关技术。 其他说明：文章提供了详细的代码片段和实验数据，便于读者进行复现和进一步探索。同时，强调了模型的扩展性和实用性，特别是在不同类型的永磁同步电机中的应用。

  • COMSOL相场法在水力压裂模拟中的应用：从单一裂缝到复杂多簇裂缝的数值实现

    内容概要：本文详细介绍了使用COMSOL软件中的相场法进行水力压裂模拟的技术细节。首先探讨了单一裂缝的扩展机制，包括相场参数的选择如界面厚度参数（epsilon）、断裂能（Gc），以及各向异性分散设置的影响。接着逐步深入到多个裂缝簇的竞争扩展，特别是两簇和三簇裂缝之间的应力阴影效应及其对裂缝形态的影响。文中还讨论了水力裂缝与天然裂缝相交时的特殊处理方法，如接触条件设定、摩擦系数调整等。此外，文章强调了网格划分、时间步长设置等数值模拟的关键技巧，并展示了如何利用相场变量的动态可视化来直观地观察裂缝的生长过程。 适合人群：从事石油工程、地质力学、计算力学等领域研究的专业人士和技术人员。 使用场景及目标：适用于希望深入了解水力压裂过程中裂缝形成机理的研究人员，以及希望通过数值模拟优化压裂作业的设计工程师。主要目标是掌握相场法的基本原理及其在COMSOL平台上的具体实现方式，从而更好地理解和预测实际工程中的裂缝行为。 其他说明：文章不仅提供了详细的MATLAB代码片段用于指导具体的建模步骤，还分享了许多实用的经验和技巧，帮助读者规避常见的数值发散等问题。同时，通过对不同工况的对比分析，揭示了相场法在处理复杂裂缝网络方面的优势。

  • 管道清污机器人sw16可编辑_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip

    管道清污机器人sw16可编辑_三维3D设计图纸_包括零件图_机械3D图可修改打包下载_三维3D设计图纸_包括零件图_机械3D图可修改打包下载.zip

Global site tag (gtag.js) - Google Analytics