`
壹佰案例
  • 浏览: 34664 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

案例精选 | 面对千亿级的数据难题,优酷工程师怎么解决?

阅读更多

 

导读:优酷一天的日志量会达到千亿级别,面对如此大的数据样本,2017年5月,优酷完成了从Hadoop迁移到阿里云MaxCompute,实现计算消耗和储存的消耗呈下降趋势,得到了非常大的收益。今天,阿里数据技术专家门德亮给大家做个分享,从为什么要用MaxCompute,到优酷的业务场景下典型的方案及应用分析,聊聊迁移后对业务及平台的具体价值。本文内容根据演讲视频以及PPT整理而成,希望对你有所助益。

 

 

大家好,我是门德亮,很荣幸,我正好见证了优酷从没有MaxCompute到有的,这样一个历程,我们正好是在快到5年的时候,做了从Hadoop到MaxCompute的这样一个升级。

 

2016年5月到2019年5月优酷的发展历程。整个用户数,还有表的数据,实际上是呈指数式增长的。但是在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了非常大的收益。

 

 

 

优酷的业务特点

 

 

 

第一个特点是大数据平台整个的用户复杂度,不止是数据的同学和技术的同学在使用,还会包括一些BI同学,测试同学,甚至产品运营都可能去使用这个大数据的平台。

 

第二个特点就是业务复杂,优酷是一个视频网站,它有非常复杂的业务场景,从日志分类上,除了像页面浏览,还会有一些播放相关的数据、性能相关的数据。从整个的业务模式上,有直播、有会员、有广告、有大屏等这样一些非常不一样的场景。

 

第三个特点,就是数据量非常巨大,一天的日志量会达到千亿级别,这是一个非常庞大的数据量,而且会做非常复杂的计算。

 

第四个比较有意思,不管是小公司、大公司,对成本的意识是非常高的。优酷也是有非常严格的预算,包括在阿里集团内是有非常严格的预算系统的,但是我们也经常会去做一些重要的战役,像双十一战役,像我们暑期的世界杯战役,还有春节也会搞各种战役。这其实对计算资源的弹性要求是非常高的。

 

基于上面的优酷的业务特点,我整理了MaxCompute可以完美的支持我们业务的几个特点。

 

 

 

为什么采用 MaxCompute

 

 

  1. 简单易用。

  2. 完善的生态。

  3. 性能非常强悍。

  4. 资源使用非常弹性。

 

第一个特点,简单易用。MaxCompute有一个非常完整的链路,不管是从数据开发,还是数据运维,包括数据集成,数据质量的管控,还有整个数据地图,数据安全。当年优酷从Hadoop迁到MaxCompute之后,我们最大的体会是不用经常自己半夜起来去维护集群了,不用去跑任务了,之前别人提一个需求过来,我可能要排几周,现在我可以告诉他,我给你马上跑一下,就可以出来了。包括之前像分析师BI还要登录客户端,写脚本,自己写调度,经常会说我的数据今天为什么没出来?包括高层看的数据,可能要到12点钟才能出来。而现在基本上所有重要的数据都会在7点钟产出,包括一些基本的业务需求,其实分析师或者产品,他们自己都可以实现了,不需要所有需求都提到数据这边。

 

 

 

MaxCompute 简单易用

 

 

第二个特点,完整的生态。优酷在2017年之前是完全基于Hadoop的生态,迁到MaxCompute之后,是基于阿里云提供的Serverless大数据服务的生态。大家可以在开源上看到的组件,在整个的MaxCompute上都是有的,而且比开源的要更好用、更简单。从架构图上可以看到,我们中间是MaxCompute,左侧依赖的Mysql、Hbase、ES、Redis这些都是由同步中心去做一个双向的同步。右侧会有资源管理、资源监控、数据监控,包括数据资产,还有一些数据规范。我们下层的数据输入,包括一些集团的采集工具,再往上边,有提供给开发人员用的DataWorks,包括一些命令行的工具,有提供给BI人员用的QuickBI及数据服务。

 

 

 

MaxCompute 生态完善

 

 

第三个特点,强悍的性能,MaxCompute支撑了优酷EB级的数据存储,千亿级的数据样本分析,包括千亿级的数据报表,10W级实例的并发、任务。这些在之前维护Hadoop的时候,是想都不敢想的。

 

 

 

MaxCompute 性能强悍

 

 

第四个特点,资源使用的弹性。我们在2016年迁移之前,其实优酷的Hadoop集群规模已经达到了一千多台,这个当时还是一个比较大的规模。当时我们遇到了很多问题,包括像NameNode 这种内存的问题,机房没有办法再扩容的问题,当时是非常痛苦的,包括一些运维管理上面的问题。我们不断地去问运维要资源,运维说你们已经花了资源,多少钱。我们面临的问题是计算资源如何按需使用,夜里的作业很多,到了午后,整个集群都空下来了,没有人用,造成了浪费。其实MaxCompute完美地解决了这个问题。

 

 

 

MaxCompute 资源弹性

 

 

第一个,它是按用量计费的,不是说给你多少台机器,就收你多少钱,是你用了多少资源收多少钱的,在成本上来说,比自己去维护集群,可能是一个砍半(降50%)的收益。

 

第二个,实际上MaxCompue计算资源是可以分时的,比如说生产队列,凌晨的时候会调高一些,保证报表能够尽快出来。到白天时候,让开发的计算资源高一些,可以让分析师、开发去临时跑一些数据,会更顺畅一些。

 

第三个,MaxCompute快速的扩容能力,比如说突然有一个比较强的业务需求,发现数据跑不动了,计算资源不够,所有的队列都堵死了,这个时候其实可以直接跟运维说一声,帮忙一键扩容,两秒钟敲一个命令就搞定了。这样,所有的资源可以迅速地消化下去。

 

 

 

典型案例-大数据整体方案

 

 

 

 

这张图实际上是优酷,包括可能现在阿里集团内部一些非常典型的技术架构图。中间可以看到,MaxCompute在中间核心的位置,左侧主要是一个输入,右侧是一个输出的趋向,绿色的线是一个实时的链路,包括现在我们从整个的数据源上,比如DB也好或者服务器的本地日志Log也好,我们通过TT&Datahub存储到MaxCompute上面做分析。当然现在非常火的Flink实时计算,其实是作为一个实时处理的链路。

 

包括DB的同步,除了实时的链路,DB也会去通过按天/按小时,把数据同步到MaxCompute,数据计算结果也可以同步到Hbase、Mysql这种DB上面。再通过统一的服务层对应用提供服务。下面这个是机器学习Pai做的一些算法训练,再把训练的结果通过OSS传到一个算法的应用上面去。

 

 

 

典型案例-数据分层

 

 

 

这张图可能也是业界比较流行的一个数仓分层的图,因为我们这边是数据中台,所有的数据都是统一从ods层cdm层,然后ads层,去一层一层地往上去做精细,再到最上面,通过接口服务、文件服务、SQL服务,去提供多样化的服务。再往上面,提供对内的一些数据产品,对高管、对小二,可能还有一些对外的,比如说像优酷的播放数,包括热度这些对应用的数据。

 

 

 

典型案例-业务赋能

 

 

这张图其实就是我们从Hadoop迁到MaxCompute平台上以来,两个非常经典的案例。我们通过数据中台对不同场景的用户打通,来去赋能到两个不同的场景,提升业务价值。

 

第二个,可能是内部的,我们通过优酷,还有集团内部的一些BU去做换量,我们通过统一的标签去做样本放大,把优酷的量导给其它的BU,把其它BU的量导给优酷,这样去达到一个共赢的效果。

 

 

 

典型案例-反zuobi

 

 

这张图是大部分互联网公司不太会涉及到的,就是关于反zuobi的问题。这个是我们在MaxCompute做的一个反zuobi的架构,通过原始的数据去提取它的特征,然后再通过算法模型,包括机器学习、深度学习、图模型去支持流量反zuobi、渠道反zuobi等等。再通过业务场景上反zuobi的监控工具,把监控到的zuobi信息去打一个黑白样本,再把这个黑白样本跟特征一起来不断地迭代优化算法模型。同时针对算法模型,做一个模型的评价,不断来完善反zuobi体系。

 

最后一点,其实还是跟成本相关,在日常使用中,一定是有小白用户或者一些新来的用户去错误地使用或者不在乎地使用一些资源,比如经常会有一些实习生或者是非技术的同学,如分析师,一个SQL消费比较高,这个其实是非常浪费资源,而且可能他一个任务,让其他所有人的任务都在这儿等着排队,实际上我们会去对整个的资源做一个治理。

 

从节点的粒度上,通过大数据来治理大数据,我们可以算出哪些表产出来之后,多少天没有被读取的,包括它的访问跨度可能没有那么大的,我们会去做下线或者去做治理,有一些业务场景可能并不是非常的重要或者它的时间要求没有那么高,比如一些算法训练,可以去做一些错峰的调度,保证水位不要太高。从MaxCompute任务的角度,可以算出哪些任务有数据倾斜、哪些数据可能会有相似计算,哪些任务需要去做MapJoin,哪些任务需要去做一些裁剪,然后来节省它的IO。还有哪些任务会去做暴力扫描,扫一个月、扫一年的数据,哪些数据可能会有这样一个数据膨胀,比如说它做了CUBE之类的这种复杂计算,一些算法模型的迭代;我们通过数据计算出来的这些迹象,去反推用户,来去提高它的这样一个数据的质量分,来去达到我们降低整个计算资源的目的。

 

在计算平台的角度,我们也持续地在使用MaxCompute推出的一些非常高级的用法,比如我们这边的HBO、Hash Cluster、Aliorc;

 

 

 

典型案例-计算优化

 

 

第一个,HBO就是我们基于一个历史的优化,这样避免了用户不知道怎么调参,我可能为了自己任务快一点,就调一个特别大的参数,这样的话,对集成的资源是非常浪费的。通过这个功能,用户就不用去调参数,集群自动调好,用户就写好自己业务逻辑就好了。

 

第二个,可能就是最近两年推出的Hash Cluster,当时在使用Hadoop的时候经常会出现,两个大表Join的时候计算不出来,这个Hash Cluster其实是一个优化的利器。大表跟小表Join,可以做一些分发,做一些优化。大表跟大表就涉及到一个排序的问题。这个Hash Cluster,实际上就是提前把数据排好,中间省掉很多计算环节,来达到效率提升的目的。

 

第三个,Aliorc,在一些固定的场景上面,可以稳定的提升20%的计算效率。 

 

第四个,Session。对一些比较小的数据,直接就放到SSD或缓存里面,一个节点下游有100个叶子场景,是非常友好的,因为低延迟秒出结果。同时,优酷也在使用Lightning解决计算加速,这个是在一个计算架构方案上的优化,它是一个MPP的架构。

 

 

 

典型案例-存储优化

 

 

最后一页是存储的优化,因为像一些关键的原始数据或者是需要审计的数据是不能删的,永久不能删的。实际上就会造成我们数据存储的趋势是一直往上不减的,计算会在某一个时间点达到一个平衡。当前用这么多的计算资源,再往后,其实应该也不会再大涨了,比如说旧的业务逻辑下掉了,会换新的业务逻辑,这样会保持在一个相对平稳的波动上面。

 

但是储存,因为它有一些历史的数据是永远不能删的,可能会出现一直在增长,而且是指数级的。所以我们也会持续关注存储的情况,还是通过大数据来治大数据,去看哪些表的访问跨度比较小,来去做生命周期的优化,来去控制它的增速。还有刚才提到的Aliorc,实际上也是做压缩的。我们会去做一些大字段的拆分,来提高压缩的比例。

 

以上内容来自门德亮老师的分享。

 

文章来源:阿里技术微信公众号

分享到:
评论

相关推荐

    高性能高扩展的千亿级实时数据仓库全实现(通用企业级解决方案)视频课程

    给大家分享一套课程——高性能高扩展的千亿级实时数据仓库全实现(通用企业级解决方案),完整版178讲,提供源码和课件下载! 本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程...

    高性能高扩展的千亿级实时数据仓库全实现(通用企业级解决方案)视频教程

    高性能高扩展的千亿级实时数据仓库全实现(通用企业级解决方案),完整版178讲,提供源码和课件下载!本课程凝聚讲师多年一线大数据企业实际项目经验,大数据企业在职架构师亲自授课,全程实操代码,带你体验真实的...

    10亿级订单数据解决方案以及实现

    10亿级订单数据解决方案以及实现(真实工业界案例)视频教程,完整版,提供源码和课件下载! 本课程将从无到有构建10亿级订单系统,彻底解决这么大的订单数据存储、查询、计算等问题,该课程将采用循序渐进方式一步...

    【精品】数据湖技术及实践与案例精选资料大合集.zip

    精品,数据湖技术及实践与案例精选资料大合集,共40份。 一、数据湖解决方案和相关资料 毕马威数据湖数据管控平台 打造数据增量计算新架构 - 网易数据湖调研&实践 华为数据湖探索用户指南 华为数据湖治理中心数据...

    数据资产管理案例

    数据资产管理是一项涉及数据资产分析、资产治理和资产应用的综合性管理活动,旨在提升组织数据的利用率和价值。以下为详细的知识点说明: 一、数据资产分析 数据资产分析是理解数据本身和数据所蕴含价值的过程,它...

    spss案例分析数据

    spss数据案例,可以下载使用.多一些分析的经验

    Spss案例数据

    《SPSS案例数据分析详解》 SPSS,全称Statistical Package for the Social Sciences,是一款广泛应用于社会科学、商业、健康科学等领域的统计分析软件。它以其直观的用户界面和强大的数据分析能力,深受研究者和...

    Python金融数据挖掘案例分析zip

    在本案例中,"Python金融数据挖掘案例分析zip"是一个以Python编程语言为基础的数据挖掘项目,专注于北京市的二手房市场。这个项目旨在通过收集、清洗、分析和可视化数据,揭示出北京市二手房市场的各种趋势和特征。...

    注册环评工程师案例.pdf

    注册环评工程师案例

    python数据分析参考案例

    在数据分析领域,Python语言已经成为首选工具之一,因其强大的库支持和易读性而备受青睐。本案例主要关注如何使用Python...通过实践这个案例,你将能更好地掌握Python在数据分析中的应用,并且理解如何解决实际问题。

    一级造价工程师案例精讲-案例一讲解.pdf

    5. 案例分析技巧:一级造价工程师考试侧重于应用理论知识解决实际问题。文件中的案例讲解可能包括如何解读题目、如何运用相关公式和定理进行计算,以及如何整理和呈现最终答案的技巧。 6. 数据解读和处理:给定的...

    研华 物联网 智慧城市创新2015案例精选集.zip

    智慧城市创新2015案例精选集》,挑选了交通、物流、医疗、零售、工业4.0等7大产业领域的20个标杆案例:位于深圳全国最大的福田交通转乘中心利用智能视频技术提高城市交通运转的效率、上海同仁医院启动〝数字导诊〞来...

    IBM+SPSS数据分析与挖掘实战案例精粹案例数据包

    《IBM SPSS数据分析与挖掘实战案例精粹案例数据包》是一个综合性的资源集合,主要针对IBM SPSS软件的用户,提供了丰富的实践案例和数据,帮助读者深入理解和掌握数据分析与挖掘的技术。SPSS(Statistical Product ...

    某招聘网站数据分析案例及数据集.zip

    在这个名为“某招聘网站数据分析案例及数据集.zip”的压缩包中,包含了一个全面的数据分析案例,专注于对某个招聘网站的数据进行深入研究。这个案例可能是为了揭示行业趋势、求职者行为模式、职位需求等方面的信息,...

    网络工程师知识点简介及实际案例及案例详解.rar

    网络工程师知识点网络工程师知识点简介及实际案例及案例详解.rar网络工程师知识点简介及实际案例及案例详解.rar网络工程师知识点简介及实际案例及案例详解.rar网络工程师知识点简介及实际案例及案例详解.rar网络...

    数据治理 华傲公司 项目案例

    ### 数据治理华傲公司项目案例 #### 知识点一:数据治理概念 数据治理是一种组织行为,旨在确保数据质量、安全性和合规性,并通过有效的数据管理策略促进数据的使用和共享。它包括一系列政策、流程和技术,用以...

    【原创】R语言泰坦尼克号随机森林案例数据分析报告(附代码数据)

    R语言泰坦尼克号随机森林案例数据分析报告(附代码数据)

    2017年上半年网络工程师下午案例分析真题及答案解析 高清完整.pdf版下载

    - 标题和描述中提到的“2017年上半年网络工程师下午案例分析真题及答案解析”表明这是一个面向网络工程师的专业技能考核资料。案例分析和真题解析是评估网络工程师应对实际网络问题能力的重要手段。 2. 软件技术...

    大数据分析的案例、方法与挑战

    如何在法律框架内合法合规地收集和使用数据,如何确保数据的准确性和完整性,如何平衡技术先进性与实际操作可行性,都是大数据从业者必须面对并解决的难题。 在阅读这本书的过程中,读者不仅可以掌握大数据分析的...

Global site tag (gtag.js) - Google Analytics