`
cloudtech
  • 浏览: 4811807 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
文章分类
社区版块
存档分类
最新评论

[论文笔记]Post-copy based live virtual machine migration

 
阅读更多

Introduction

这篇是以MichaelR. Hines等人在2009年所写的Post-Copy Based Live VirtualMachine Migration Using Adaptive Pre-Paging and Dynamic Self-Ballooning来讨论。

Live Migration的技术在[1]的时候就几乎已经完备了,而现在有人提出post-copy的方法来与pre-copy的方法做比较,两种方法有好有坏,分别适用于不同的情境之下。

Pre-copy的技术是为了能够尽量地减少downtime,并且不影响服务的运作,而post-copy的技术则是为了减少total migration time且让程序能够持续的执行。

Design

Post-copy是由一小段stop-and-copy phase和pull-phase相结合的(相较于pre-copy的push-phase和stop-and-copy-phase),以下是post-copy执行的四个步骤:

( 1 ) Stopthe VM on source host

( 2 ) Copyprocessor state to the destination host

( 3 ) Resumethe VM on destination host

( 4 ) Beginfetching memory pages over the network from the source

其中,( 4 )很明显的是整个算法中的bottleneck,而此篇论文主要的目的也是在于如何改善第四个步骤,作者们提出了四个方法:

(1 )Demand paging

也就是一般pull phase的步骤,当在destination的VM执行时遇到page fault,就向sourcehost发出需求,此时source host会传回造成错误的page。属于被动的传输,除了有长时间的residual dependency外,每一次的page fault都会造成VM的performance降低。唯一的好处是能够确保每一个page都只被传一次。

(2 )Active Push

为了改善( 1 )所带来的问题,除了造成page fault的页面必须先传输外,source host会从第一页page开始,不停的传送pages到destination端。变成主动的传输,能够有效的改善residual dependency的问题。

(3 )Pre-paging

改善( 2 )的方法,由于要预测page fault产生的情形相当困难,所以作者们利用读取memory常常读取一大块block的特性,由造成fault的那页page邻近的pages作为传输的依据,能够大幅的改善page fault的情形。

作者提出一个bubbling algorithm来作为pre-paging的算法。

首先,在还没有fault发生的情况下,从第一页page开始往下传输。



接着,在发生page fault后,从发生fault的那页page开始往前后两个方向传输。


另外,当发生多次的page fault时,可以从不同的地方分别开始传送page,当有两个方向的传输碰面的时候,就停止该方向的传输。此算法会一直持续到所有的page都被传送到destination端为止。


(4 )Dynamic self-ballooning ( DSB )

在migration的过程中,有许多的”free”memory是不需要被传送的,这些free memory的量可大可小,可是如果能够避免传送这些page,是可以大幅提升migration效率的。作者利用[2]提出的Ballooning机制来找出这些free page。


Ballooning机制是说,在guest kernel放进一个ballooning driver,这个driver会经由一个private channel 与hypervisor沟通,hypervisor可以藉由调整balloon的压力来调整给guest memory的大小。当为这个balloon充气(inflate)的时候,guest memory会认为自己拿到的memory太多,于是balloon driver就能够回收pages并且将这些pages归还给hypervisor。相反的,当balloon消气(deflate)的时候,balloon driver可以向hypervisor要求增加memory。

作者们利用这个机制来设计DSB,构成DSB的机制如下:

(1 )Inflate the balloon:

主动将balloon充气,让balloon driver开始回收free memory并归还给hypervisor。

(2 )Detect Memory Pressure

由于DSB执行的过程中,VM仍然在执行,所以有可能会有process需求memory,DSB必须主动的去侦测,且在发现的情况下将balloon消气来要求memory page。

(3 )Deflate the balloon

将balloon消气,然后重复的执行此三个步骤。

在migration之前,让VM执行DSB,能够主动的将free page归还给hypervisor,而根据作者的实验,free page的归还率可以达到95%。DSB的技术除了用在post-copy之外,也能改善pre-copy的算法,使得pre-copy算法变得更有效率。作者在paper的后面有提出实验证明。

Evaluation

( 1 )Stress testing


从图4可以看出,不管是使用pre-copy还是post-copy,DSB的使用都能够明显的减少total migration time。在大部分指令是读取memory的情况下,pre-copy能够比post-copy有更好的performance;但是在大部分指令是写入的情况下,post-copy则明显的比pre-copy好很多。这是因为在传送memory page的次数上,post-copy只需要传一次,而pre-copy会因为需要传送大量的dirty memory,所以造成performance下降。

根据图4,我们还可以了解到post-copy对应用类型是不可知的。由于写密集的应用产生脏页的速率可能会比传输速率更大,所以pre-copy对其是非常敏感的。而由于实现机制不同,post-copy则没有这么敏感,在total migration time方面表现得非常平稳。


从图5我们可以得知,不论是针对写密集抑或读密集应用,DSB的运用可以大幅降低post-copy的downtime,小幅降低pre-copy的downtime。而对pre-copy的downtime影响最大的因素还是应用的类型。


图6告诉我们,DSB能够大幅减少post-copy和pre-copy的总传输页面


表2表示的是pre-paging算法在post-copy中的用处。它可以把大量的network faults转换为minor faults

( 2 )Degradation,Bandwidth, and Ballooning


为了量化migration对running service的影响,作者做了一个有趣的实验:在2台物理机之间来回迁移一个正在执行内核编译的VM。实验结果图7表示,VM执行内核编译,在no-migration,post-copy, pre-copy DSB, pre-copy w/o DSB四种方法的影响下的完成时间。很明显,无论是pre-copy还是post-copy,DSB都可以大幅减少对running service的影响。因为DSB减少了需要传输的总页面,继而减小了migration对网络资源的竞争,迁移页面可以尽快地传输到target host。因为内核编译并不是非常倾向于写密集的应用,所以post-copy和pre-copy的表现并没有太大差异。


众所周知,Netperf是一个持续的占用高带宽的网络应用,有较高的脏页率。同样的,如图8所示,虽然DSB能减少migration对running service的影响,但是post-copy的表现比pre-copy是略好的。



图9和10分别表示了post-copy和pre-copy对网络带宽的影响,实验的running service为Netperf。结果显示,对于脏页率高的service,pre-copy的迭代次数多,需要传输的脏页过多导致对带宽的影响更久更高。


图11显示balloon interval对kernel compile的完成总时间的影响。根据实验,对于该service,4-10秒的时间间隔比较折衷。越频繁的balloon,对VM的负载(running service)影响越大。

Conclusion

Pre-copy的优势在于能够让使用者几乎没有migration的感觉,像是在on-line game这样的环境中也能有相当好的表现。Post-copy虽然在total migration time有较好的表现,但是在pull phase最一开始的阶段,performance会大幅下降,这是个致命伤。

此外,根据paper,post-copy目前还不是reliable的,一旦在migration的途中,destination host 发生crash,则有可能会失去这台VM内的数据。Pre-copy则不会,pre-copy在所有的stage中,都至少会有一份完整且一致的memory and processorstate存在。这也是post-copy需要改善的地方。

分享到:
评论

相关推荐

    postcopy live migration

    KVM(Kernel-based Virtual Machine)是一种开源的全虚拟化解决方案,它允许用户在Linux内核上运行多个虚拟机。随着虚拟化技术的发展,如何实现虚拟机在不同物理主机之间的迁移变得越来越重要。传统的方法是通过预...

    Research Advances in Cloud Computing-Springer(2017).pdf

    The thirteenth chapter on “Performance Modeling and Optimization of Live Migration of Virtual Machines in Cloud Infrastructure” is based on improvement of the pre-copy algorithm for live migration ...

    24灯十字旋转LED蓝牙版制作资料

    POV系列-24灯十字旋转LED,资料有原理图、PCB丝印图、 改字软件 以及单片机固件,如果有单片机基础完全可以制作参考制作

    大创项目_24.zip

    大学生创业项目源码

    B端安全网关的简单实现#Java#Springboot源码分享

    已实现http协议下的请求转发。支持GET,POST请求以及文件上传,支持IP白名单、apiKey配置。

    【毕业设计】基于uniapp微信小程序电影院选座订票系统设计【源码+论文+答辩ppt+开题报告+任务书】.zip

    【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。

    weixin056基于微信小程序的购物系统+php(文档+源码)_kaic

    weixin056基于微信小程序的购物系统+php(文档+源码)_kaic

    使用mingw编译的openssl-3.4.1,有需要的自取吧

    使用mingw编译的openssl-3.4.1,有需要的自取吧

    Oracle19c netca.rsp

    Oracle19c netca.rsp

    前端小白必看!HTML、CSS、JavaScript 基础全解析

    本资源聚焦前端三剑客基础。课程从 HTML 构建网页结构开始,深入 CSS 样式美化,再到 JavaScript 实现交互逻辑。无论你是零基础小白,还是想巩固基础的学习者,都能通过学习,具备搭建静态网页与简单交互页面的能力,轻松迈进前端开发领域。

    Invoke-WmiCommand.zip

    Invoke-WmiCommand

    (转载)五子棋python

    python五子棋 转载的!!!

    基于springboot框架的Javaweb学科竞赛管理系统(完整源码+数据库sql文件+项目文档+Java项目编程实战+编程练手好项目).zip

    关键词:学科竞赛管理,Java语言,MYSQL数据库,Vue框架 摘 要 I ABSTRACT II 1绪 论 1 1.1研究背景 1 1.2设计原则 1 1.3论文的组织结构 2 2 相关技术简介 3 2.1Java技术 3 2.2B/S结构 3 2.3MYSQL数据库 4 2.4Spring Boot框架 4 2.5Vue框架 5 3 系统分析 6 3.1可行性分析 6 3.1.1技术可行性 6 3.1.2操作可行性 6 3.1.3经济可行性 6 3.1.4法律可行性 6 3.2系统性能分析 7 3.3系统功能分析 7 3.4系统流程分析 8 3.4.1注册流程 8 3.4.2登录流程 9 3.4.3添加信息流程 10 4 系统设计 11 4.1系统概要设计 11 4.2系统结构设计 11 4.3 系统顺序图 12 4.4数据库设计 14 4.4.1 数据库实体(E-R图) 14 4.4.2 数据库表设计 16 5 系统的实现 19 5.1学生功能模块的实现 19 5.1.1 学生注册界面 19 5.1.2 学生登录界面 20 5.1.3 赛项详情界面 21 5.1.4 个人中心界

    大创项目go后台.zip

    大学生创业项目源码

    基于Wav2Lip384的AI主播项目整合包

    开源项目整合包 更多内容可以查阅 项目源码搭建介绍: 《我的AI工具箱Tauri+Django开源git项目介绍和使用》https://datayang.blog.csdn.net/article/details/146156817 图形桌面工具使用教程: 《我的AI工具箱Tauri+Django环境开发,支持局域网使用》https://datayang.blog.csdn.net/article/details/141897682

    智慧园区解决方案-16PPT(21页).pptx

    智慧园区,作为未来城市发展的重要组成部分,正逐步从传统园区向智能化、高效化转型。这一转型不仅提升了园区的运营管理水平,更为入驻企业和民众带来了前所未有的便捷与高效。智慧园区的总体设计围绕现状分析、愿景规划、设计理念及六位一体配套展开。传统园区往往面临服务体系不完善、智慧应用面不广、信息资源共享能力不足等问题,而智慧园区则致力于打破这些壁垒,通过物联网技术、大数据分析等手段,构建起一个完整的运营服务体系。这一体系不仅覆盖了企业成长的全周期,还通过成熟的智慧运营经验,为产业集群的发展提供了有力支撑。智慧园区的愿景在于吸引优秀物联网企业和人才入驻,促进产业转型,提高社会经济效应,并为民众打造更安全、高效的智慧生活方式。 在智慧园区的服务体系及配套方面,园区围绕“1+1+1”(学院+创客+基地)、“两中心”(园区指挥中心+金融中心)、“三平台”(成果展示+招商+政府)等核心配套,辅以日常生活各方面的配套,真正实现了从人才培养、研发、转化、孵化、加速到发展的六位一体示范园区。园区服务体系包括园区运营管理体系、企业服务体系和产业社区服务体系。园区运营管理体系通过协同办公、招商推广、产业分析等手段,打破了信息数据壁垒,构建了统一园区运营服务。企业服务体系则提供了共享智能展厅、会议室预定、园区信息服务、办事大厅等一系列便捷服务,助力企业快速成长。产业社区服务体系则更加注重周边生活的便捷性,如物联网成果展示平台、智慧物流、共享创客空间等,为入驻企业和民众提供了全方位的生活配套。这些服务体系不仅提升了园区的整体竞争力,还为入驻企业创造了良好的发展环境。 智慧园区的场景应用更是丰富多彩,涵盖了智慧停车、智慧访客、公共服务、智慧楼宇、智慧物业等多个方面。智慧停车系统通过车牌识别、车位引导、缴费等子系统,实现了停车场的智能化管理,极大提升了停车效率。智慧访客系统则通过预约、登记、识别等手段,确保了园区的安全有序。公共服务方面,智慧照明、智慧监控、智慧充电桩等设施的应用,不仅提升了园区的整体品质,还为民众带来了更加便捷、安全的生活环境。智慧楼宇和智慧物业系统更是通过智能化手段,实现了楼宇和园区的统一化管理,提升了运营效率和居住舒适度。此外,智慧园区还通过O2O平台、医疗系统、综合服务系统等手段,将线上线下资源有机整合,为入驻企业和民众提供了全方位、便捷的服务体验。这些场景应用不仅展示了智慧园区的智能化水平,更为读者提供了丰富的想象空间和实施方案参考。 综上所述,智慧园区作为未来城市发展的重要方向,正以其独特的魅力和优势吸引着越来越多的关注。通过智能化手段的应用和服务体系的完善,智慧园区不仅提升了园区的整体竞争力和运营效率,还为入驻企业和民众带来了前所未有的便捷与高效。对于写方案的读者来说,智慧园区的解决方案不仅提供了丰富的案例参考和实践经验,更为方案的制定和实施提供了有力的支撑和启示。

    成熟STM32直流电压电流采集与检测方案:包含PCB设计、KEIL源码及原理图与详细设计说明,完备STM32直流电压电流采集与检测解决方案:PCB、KEIL源码、原理图、设计说明,lunwen复现新型

    成熟STM32直流电压电流采集与检测方案:包含PCB设计、KEIL源码及原理图与详细设计说明,完备STM32直流电压电流采集与检测解决方案:PCB、KEIL源码、原理图、设计说明,lunwen复现新型扩展移相eps调制,双有源桥dab变器,MATLAB simulink仿真 ,核心关键词:lunwen复现; 新型扩展移相eps调制; 双有源桥dab变换器; MATLAB simulink仿真;,复现新型扩展移相EPS调制:DAB双有源桥变换器在MATLAB Simulink中的仿真研究

    大创项目——考古土方运输车小程序端.zip

    大学生创业项目源码

    清华大学 deepSeek 三部曲全集

    清华大学deepseek三部曲PDF

    蓝桥杯算法实战详解:编程界‘奥林匹克’的技术提升之路

    内容概要:本文介绍了蓝桥杯编程竞赛的历史背景及其重要意义,强调其作为编程领域中‘奥林匹克’的地位。文章全面解析了蓝桥杯中涉及的不同类型的赛题,如数学计算、字符串处理、排序算法、图论算法、动态规划、模拟题等,通过实例详细讲解这些算法的设计思路及其实现方式。还分享了在比赛过程中应掌握的实际技巧,包括如何选择恰当的算法、优化代码性能,以及调试技巧等,旨在全面提升编程能力。 适合人群:对编程感兴趣的在校生及初学者、想要提升编程能力的从业者。 使用场景及目标:帮助读者了解并掌握蓝桥杯的比赛内容和技术要点;培养解决复杂编程问题的能力;激发编程兴趣并为参赛做准备。 其他说明:文中穿插成功案例——小乐同学的经历,展现如何从零基础成长为优秀程序员,并通过自身努力在全国比赛中获奖的例子来鼓励读者积极参与此类活动以提升自我价值。最后号召更多编程爱好者参与到蓝桥杯当中,在实践中锻炼和成长。

Global site tag (gtag.js) - Google Analytics