`

数仓分层简述

 
阅读更多
1, 第一层,ODS层,运营数据层:来源:业务数据库OLTP,处理:去重、去噪、去空、命名,产出:数仓的基础数据;

2, 第二层,DWD层,数仓细节层:来源:ODS层数据表,处理:数据清洗和整合,产出:事实表和维度表;

3, 第三层,DWS层,数仓服务层(公共层):来源:DWD层数据表,处理:维度退化,产出:指标级别宽表;

4, 第四层,DIM层,维度层:来源:DWS层数据表,处理:多维度整理数据,产出:用于多个维度的快速查找、分组和排序等;

5, 第五层A,TDM层,标签层:来源:DWS层和DIM层,处理:全局唯一ID打通,标签化(属性、统计、算法、关联标签),产出:用户标签等;

6, 第五层B,DM层,数据集市层:来源:DWS层和DIM层,处理:主题域数据聚合,产出:部门实体报表和数据分析;

7, 第六层,ADS层,应用服务层:来源:TDM层和DM层,处理:业务直接可用的数据,产出:存储在MySQL、Redis、ES中,业务可直接进行数据可视化展示。
分享到:
评论

相关推荐

    京东零售流量数仓架构建设

    数仓的分层设计是京东零售流量处理的核心。数据缓冲层(BDM)存储源业务系统的原始数据;贴源数据层(FDM)负责日志转换和业务字段处理,支持全链路回写功能;基础数据层(GDM)按照主题域进行标准化,处理数据回灌...

    实时数仓|你想要的数仓分层设计与技术选型

    数据仓库概念的提出都要追溯到上世纪了,我们认为在大数据元年之前的数仓可以称为传统数仓,而后随着海量数据不断增长,以及Hadoop生态不断发展,主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今,近几年随着...

    数据仓库数据分层结构

    数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。 数据仓库 ,由数据仓库之父比尔·恩门...

    13天玩转千亿级数仓项目视频教程(离线+实时)

    1. 数仓典型分层思想(ODS、DWB、DWS、DM、ADS) 2. 数仓建设0到1的过程实战 3. 企业级数据仓库设计的规范 阶段四:基于Kylin的OLAP分析 1. Kylin自带的example案例介绍 2. Kylin的Cube创建 3. Kylin的数据膨胀介绍 ...

    数仓命名规范.pdf

    本文档详细介绍了数据仓库的分层规范、表命名规范和数据处理方式,旨在为大数据实施团队提供清晰的建设指南。 首先,数据分层规范是数据仓库设计的核心部分,它将数据仓库分为四个层次:数据运营层(ODS)、数据...

    DOE大型离线数仓与用户画像系统

    涵盖数据采集,数据ETL,数仓分层开发,报表开发,OLAP查询全流程; 涵盖元数据管理,数据质量管理,数据建模方法论等数据治理实战内容; 包含行为日志数据域,业务数据域的全域数据处理实战; 很多大数据技术学员...

    数仓建模方法和数仓分层架构详解.pdf

    "数仓建模方法和数仓分层架构详解" 数仓建模是指对业务的理解,将各种数据进行整合和关联,并最终使得这些数据可读性和可用性增强,让用户能够快速获取有价值的信息并及时作出响应,为公司带来效益。数据建模是对...

    (14条消息) 数仓数据分层(ODS DWD DWS ADS)换个角度看_xiaohu21的博客-CSDN博客.html

    (14条消息) 数仓数据分层(ODS DWD DWS ADS)换个角度看_xiaohu21的博客-CSDN博客.html

    数据仓库知识(数仓建模以及分层).pdf

    第四章至第十四章,通过分析阿里巴巴、美团、网易、恒丰银行和马蜂窝等不同公司的数仓分层架构,展示了多种实际应用的分层策略。例如,马蜂窝的数仓可能分为ODS(Operational Data Store)、DIM(Dimension)、DWD...

    数仓建设规范指南.pdf

    1. 数仓分层原则:该原则规定了数据仓库的分层结构,包括ODS层、公共维度层、DWD明细层、DWS公共汇总层等。每个层次都有其特定的功能和作用,确保数据仓库的数据流程清晰、有序。 2. 主题域划分原则:该原则规定了...

    大数据项目之电商数仓(2用户行为数据仓库)

    在构建电商数仓的过程中,数仓分层是非常关键的一个环节,它能够帮助我们更好地组织数据、提高数据质量并确保数据分析的有效性。 ##### 1.1 为什么要分层 数仓分层的主要目的是为了简化复杂的数据处理流程,使得...

    大数据数仓全知识领域总结

    企业型数仓全知识体系介绍,包括大数据平台架构、数仓架构、数仓建模、常见模型、事实表、设计规范、表命名规范、开发规范、流程规范、元数据管理、维度表、三范式与反范式、数仓分层、数据治理、ETL、数据倾斜等

    五分钟学大数据-最强最全面数仓建设规范指南(强烈推荐).pdf

    1. 数仓分层原则:数仓的分层架构是指将数仓划分为不同的层次,每个层次都有其特定的功能和作用,如ODS层、公共维度层、DWD明细层等。这种分层架构可以提高数仓的可维护性和可扩展性。 2. 主题域划分原则:主题域...

    Spark离线数仓Flink实时数仓项目源码+部署资料.rar

    实时数仓分层: 计算框架:Flink;存储框架:消息队列(可以实时读取&可以实时写入) ODS:Kafka 使用场景:每过来一条数据,读取到并加工处理 DIM:HBase 使用场景:事实表会根据主键获取一行维表数据(1.永久存储、2.根据主键...

    DOE大型离线数仓与用户画像系统视频课程

    涵盖数据采集,数据ETL,数仓分层开发,报表开发,OLAP查询全流程; 涵盖元数据管理,数据质量管理,数据建模方法论等数据治理实战内容; 包含行为日志数据域,业务数据域的全域数据处理实战。

    大数据项目实战之在线教育(02数仓实现).doc

    第 1 章 数仓分层概念介绍了数仓的分层概念,包括 ODS、DWD、DWS 和 ADS 四个层次。每个层次都有其特定的功能和命名规范,例如 ODS 层命名为 ods,DWD 层命名为 dwd 等。 在第 2 章 环境准备中,介绍了大数据项目的...

    关于数仓建设的超全概括.docx

    #### 一、数仓为何要分层? 数据仓库(简称“数仓”)是企业信息化的重要组成部分,旨在为决策支持系统提供数据支持。数仓的构建并非简单的数据堆砌,而是需要经过精心设计与规划。其中一个重要环节便是数据分层。...

Global site tag (gtag.js) - Google Analytics