基于Flink+Hudi构建企业万亿级云上实时数据湖教程

基于Flink+Hudi构建企业万亿级云上实时数据湖教程
网盘地址：https://pan.baidu.com/s/1DGAHnMzD7pR6OZ8sbai3bA 提取码: 3mqh
备用地址（腾讯微云）：https://share.weiyun.com/Cy3GrEMT 密码：xht78j

本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。

项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。

Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。

Hudi的出现解决了现有hadoop体系的几个问题：
1、HDFS的可伸缩性限制
2、需要在Hadoop中更快地呈现数据
3、没有直接支持对现有数据的更新和删除
4、快速的ETL和建模
5、要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi都允许用户使用最后一个检查点时间戳，此过程不用执行扫描整个源表的查询。