`
猫耳呀
  • 浏览: 164911 次
社区版块
存档分类
最新评论

离线计算成本节省的神兵利器

阅读更多
摘要: 对于创业成长型的企业来说,离线计算已经必不可少了,通过离线计算我们可以生成复杂的业务报表,通过离线计算我们也能精确的算出用户画像。离线计算已经当今的企业中成为了不可或缺的存在。那么使用弹性计算能够对离线计算领域带来什么好处呢?本文将介绍如何使用弹性计算节省企业离线计算成本。
 
背景
 
对于目前创业成长型的企业来说,离线计算已经必不可少了,通过离线计算我们可以生成复杂的业务报表,通过离线计算我们也能精确的算出用户画像。离线计算已经当今的企业中成为了不可或缺的存在。那么使用弹性计算能够对离线计算领域带来什么好处呢?小编告诉你好处肯定是有的,且听小编娓娓道来。
 
常见离线计算架构
 
 
从上图中我们用最常见的离线计算开源产品Hadoop作为例子,如上图所示大家会把存储服务跟计算符合放在一台ECS上。但是随着业务的扩张,我们对计算的需求越来越大,我们需要用数据做各种运算,为了增强离线集群的计算能力,我们会想到直接通过添加计算节点的方式来获得。但是随着计算节点的添加我们会遇到另一个问题,那就是资源利用率不够的问题。虽然计算通过扩容能够提升计算能力,但是数据可不会像计算那样突然猛增,所以对于存储来说扩容操作会暂时导致资源利用率的下降。再加上离线计算每天的计算时间只有一段时间,扩容之后的ECS在每天离线计算完成之后将大量空闲,这段时间将是对成本极大的浪费!那么很多客户会想是否有一种方法能够将计算存储分开进行扩容,并且在离线计算的时候对计算节点扩容,在计算完成之后将扩容的计算节点释放掉,从而达到节省成本的目的。这个架构肯定是有的,不过为了让大家更好的理解接下来的架构,小编先要给大家介绍一下竞价实例和弹性伸缩。
 
竞价实例简单介绍
 
 
从上面的图中大家可以发现竞价实例是一种按照供需关系变化价格波动的一种后付费类型实例,相对于按量付费实例价格有较低的折扣。不过同时竞价实例是有可能随时被阿里云释放的,这点请大家务必注意。简而言之就是竞价实例便宜,但是可能随时被释放。
 
弹性伸缩简单介绍
 
弹性伸缩总共有如下三个优点:
 
提升容错能力
 
弹性伸缩会定时检查ECS健康状态,如果发现ECS不健康,那么ECS将会创建一台新的ECS去替换它并且将不健康的ECS释放掉。
 
增强可用性
 
弹性伸缩能够通过定时、自动伸缩保证应用程序始终有合适的容量去满足当前的请求流量。
 
优化成本
 
弹性计算通过自动动态的方式按需增减实例,在需要的时候添加实例,不需要的时候释放实例,从而节约IT成本。
 
存储计算分离之后的离线计算架构
 
经过上面对竞价实例以及弹性伸缩简单的介绍,现在小编可以大声的告诉大家,存在一种基于弹性计算的架构能够不仅能够满足用户对于海量数据的计算能力需求,而且还能降低大家的计算成本。
  • 将Hadoop的存储计算节点分离
  • 使用弹性伸缩来按时、按需创建、释放计算计算节点
  • 计算节点的付费类型采用竞价方式
这里相信大家肯定又有疑问了,竞价实例不是会被阿里云释放吗,这里使用竞价实例合适吗?答案是绝对合适的。第一竞价实例的价格变量付费便宜很多,第二就算竞价实例被阿里云释放了,影响的也紧紧只是我们离线计算的速度。在上面的架构图上小编也留了一台ECS没有加入伸缩组,这一台ECS我们可以采用预付费的方式为我们计算资源提供“保底”的计算能力,当然我们也可以根据自身的需要来设置“保底”ECS的数量。
 
使用竞价实例+弹性伸缩搭建离线计算架构Tips
 
Spot Instance出价策略
 
通过阿里云ECS的售卖页面查看竞价实例多可用区的历史价格,从而选择一个合理的出价。
 
AutoScaling伸缩组配置
 
  • 不要在整点触发定时扩容任务,整点扩容的客户比较多,大家可以选择整点过后5-10分钟进行扩容,这样价格相对会低一些
  • 通过监测计算节点的CPU/MEM指标来触发报警任务
  • 通过在伸缩组选择多可用区来增加成功购买竞价实例的概率
  • 在伸缩组内配置最大ECS数目防止弹性伸缩创建ECS数量超过预期
  • 创建一条伸缩任务进行手动扩容以备不时之需
 
使用Spot Instance + AutoScaling成本
 
 
 
 
阅读更多干货好文,请关注扫描以下二维码:
 
分享到:
评论

相关推荐

    Android群英传:神兵利器

    资源名称:Android群英传:神兵利器内容简介:《Android群英传:神兵利器》以通俗易懂的语言介绍了Android开发的工具使用。《Android群英传:神兵利器》共分为7章。第1章主要讲解如何搭建一个优雅、令人愉悦的开发...

    Android群英传神兵利器.pdf

    《Android群英传神兵利器》16年出版,入门,提高,非常推荐的一本书。

    徐宜生-Android群英传:神兵利器(带书签高清版)

    《徐宜生-Android群英传:神兵利器》是一本深入探讨Android开发技术的书籍,作者徐宜生以其丰富的经验和独特的见解,为读者揭示了Android开发中的诸多神器和技巧。这本书以高清、带书签的形式呈现,方便读者查阅和...

    Android群英传:神兵利器(带书签高清版)

    Android群英传:神兵利器》以通俗易懂的语言介绍了Android开发的工具使用。《Android群英传:神兵利器》共分为7章。第1章主要讲解如何搭建一个优雅、令人愉悦的开发环境。第2章主要讲解协同开发最重要的工具Git。第3...

    供应链管理的神兵利器.pdf

    供应链管理是现代企业运营的核心环节,而在众多策略中,Just In Time (JIT) 即时制被视为提升效率和降低成本的“神兵利器”。JIT最早由日本丰田汽车公司在20世纪60年代引入,通过精确的时间安排和最小化库存,丰田...

    Android群英传 神兵利器 学习下载

    《Android群英传 神兵利器》是一本专为Android开发者量身打造的进阶指南,旨在提升开发者的技能和效率。这本书深入探讨了如何利用各种Android开发工具,包括但不限于IDE、调试器、性能分析工具等,来优化工作流程,...

    徐宜生-Android群英传:神兵利器

    《徐宜生-Android群英传:神兵利器》是一本专门为Android开发者量身打造的进阶类技术书籍,旨在帮助读者深入理解Android系统的工作原理和开发技巧,从而提升其在Android开发领域的专业技能。作者徐宜生,以其丰富的...

    《徐宜生-Android群英传:神兵利器》PDF

    《徐宜生-Android群英传:神兵利器》是一本深入探讨Android开发技术的专业书籍,由资深Android开发者徐宜生撰写。这本书以其独特的视角和丰富的实战经验,为读者揭示了Android开发中的诸多神器和技巧,是提升Android...

    徐宜生-Android群英传:神兵利器(带书签高清版)@www.java1234.com

    徐宜生-Android群英传:神兵利器(带书签高清版)@www.java1234.com徐宜生-Android群英传:神兵利器(带书签高清版)@www.java1234.com徐宜生-Android群英传:神兵利器(带书签高清版)@www.java1234.com

    供应链管理的神兵利器.docx

    【供应链管理的神兵利器——Just In Time (JIT)】 及时制(Just In Time,JIT)是供应链管理中的核心策略之一,源于20世纪60年代日本丰田汽车公司的生产模式。JIT旨在通过精确的时间管理和资源优化,实现按需生产,...

    供应链管理的神兵利器.doc

    在众多的管理工具中,及时制(Just In Time,JIT)被誉为供应链管理的神兵利器,它起源于20世纪60年代的日本丰田汽车公司,并在1973年能源危机中展现了其强大效能。 及时制的核心理念是按需生产,企业只在必要的...

    android群英传 神兵利器

    根据提供的文件信息,“Android群英传 神兵利器”主要聚焦于介绍一系列与Android开发相关的工具和技术。从标题和描述来看,这部分内容更倾向于工具的介绍与应用,旨在帮助开发者提升工作效率,解决实际问题。下面将...

    Android群英传+神兵利器 完整版书籍

    《Android群英传:神兵利器》——看上去好像是第一本书的续集,但实际上,这本书的内容,在我写《Android群英传》的时候就已经写了不少了,碍于出版社的篇幅限制与主题的统一,很多内容并没有放到《Android群英传》...

    设计与验证,关于FPGA的神兵利器

    《设计与验证:FPGA的神兵利器》是一份极具价值的资料,它涵盖了FPGA(Field-Programmable Gate Array)设计与验证的核心知识,是初学者掌握FPGA技术的宝贵资源。这本书籍结合了理论与实践,通过配套代码帮助读者...

Global site tag (gtag.js) - Google Analytics