基于 Flink 的实时数仓生产实践 -

大涛学长

浏览: 105588 次
性别:
来自: 北京

最近访客更多访客>>

carat

kkkzm

shagnxiaoyu1

limengna845567

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

基于 Flink 的实时数仓生产实践

apache 腾讯金融工作申诉

数据仓库的建设是“数据智能”必不可少的一环，也是大规模数据应用中必然面临的挑战。在智能商业中，数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策，更好地进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。

![FFA_](https://yqfile.alicdn.com/7230d62f35ba347d3269537445b62bb3860f4975.jpeg)

如何更好的建设实时数仓、有哪些优秀的生产实践经验可借鉴？

11月28-30日，Flink Forward Asia 邀请来自 Netflix、美团点评、小米、OPPO、菜鸟等数仓专家，聚焦 Flink 实时数仓在数据链路中扮演的角色与在智能商业中的重要价值，分享实时数仓的应用实践及平台智能化的探索与思考。

美团点评基于 Apache Flink 的实时数仓平台实践
-----------------------------

**鲁昊 | 美团点评高级技术专家**

美团点评的业务众多，涉及几十条业务线；数据量大，处理峰值达到 1.5 亿条每秒，每天数据增长量超过 3 万亿条；大多数业务都是交易场景，链路长、状态多样，业务在数仓建设中面临着很大挑战。随着业务对时效性的要求越来越高，如即时配送、实时营销，越来越多的业务对实时数仓提出了需求和探索。实时计算团队调研汇总了多个业务线在实时数仓方面的建设经验，建设了一站式的实时数仓开发平台，以更好得支持业务发展。

本次分享将主要介绍实时计算的业务应用和规模、多个业务在实时数仓方面的建设情况，以及基于 Flink 的实时计算平台和实时数仓平台。

小米流式平台架构演进与实践
-------------

**夏军 | 小米流式平台负责人，高级研发工程师**

小米集群业务线众多，从信息流，电商，广告到金融等覆盖了众多了领域，小米流式平台为小米集团各业务提供一体化的流式数据解决方案，主要包括数据采集，数据集成和流式计算三个模块。目前每天数据量达到 2 万亿条，实时同步任务 1.5 万，实时计算的数据 1 万亿条。伴随着小米业务的发展，流式平台也经历三次大升级改造，满足了众多业务的各种需求。

最新的一次迭代基于 Apache Flink，对于流式平台内部模块进行了彻底的重构，同时小米各业务也在由 Spark Streaming 逐步切换到 Flink。本次分享主要包括小米流式平台架构演进、基于 Flink 的新版本流式平台架构设计与产品化，小米典型业务应用实践，未来挑战与规划等。

Netflix：Evolving Keystone to an Open Collaborative Real-time ETL Platform
-------------------------------------------------------------------------

**徐振中 | Senior Software Engineer at Netflix**

Netflix 致力于我们会员的喜悦。我们不懈地专注于提高产品体验和高质量内容。近年来，我们一直在技术驱动的 Studio 和内容制作方面进行大量投资。在这个过程中，我们发现在实时数据平台的领域里中出现了许多独特并有意思的挑战。例如，在微服务架构中，Domain object 分布在不同的 App 及其有状态存储中，这使得低延迟高一致性的实时报告和 entity 搜索发现特别具有挑战性。

在本次演讲中，我们将讨论一些有趣的案例，分享分布式系统基础方面的各种挑战以及解决方案。我们还将讨论在开发运维过程中的收获，对开放式自助式实时数据平台的一些新愿景，以及我们对 Realtime ETL 基础平台的一些新思考。

菜鸟供应链实时数仓的架构演进及应用场景
-------------------

**贾元乔 | 菜鸟高级数据技术专家**

贾元乔老师就职于菜鸟网络供应链数据团队，致力于菜鸟供应链数仓建设、数据产品开发以及数据技术创新。

本次分享主要从数据模型、数据计算、数据服务等几个方面介绍菜鸟供应链数据团队在实时数据技术架构上的演进，以及在供应链场景中，典型的实时应用场景及Flink实现方案。

OPPO 基于 Apache Flink 的实时数仓实践
----------------------------

**张俊 | Apache Flink Contributor，OPPO大数据平台研发负责人**

张俊老师主导了 OPPO 涵盖“数据接入-数据治理-数据开发-数据应用”全链路的数据中台建设。曾先后工作于摩根士丹利、腾讯，具有丰富的数据系统研发经验，目前重点关注数仓建设、实时计算、OLAP引擎方向，同时也是Flink开源社区贡献者。本次演讲主要分享 OPPO 基于 Flink 构建实时数仓的：

1.建设背景
2.顶层设计
3.落地实践
4.未来展望

[原文链接](https://yq.aliyun.com/articles/727370?utm_content=g_1000090282)

本文为云栖社区原创内容，未经允许不得转载。

分享到：