`

构建企业级数据仓库的五步法

    博客分类:
  • HIVE
 
阅读更多

一. 确定主题

       即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑.

 

二. 确定量度

        确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供有用的信息. 量度是要统计的指标, 必须事先选择恰当, 基于不同的量度可以进行复杂关键性指标(KPI)的设计和计算.

 

三. 确定事实数据粒度

        确定量度之后, 需要考虑该量度的汇总情况和不同维度下量度的聚合情况; 例如在业务系统中数据最小记录到秒, 而在将来分析需求中, 时间只要精确到天就可以了. 在ETL处理过程中, 按天来汇总数据, 这时数据仓库中量度的粒度就是”天”. 如果不能确认将来的分析需求中是否要精确到秒, 那么, 我们要遵循”最小粒度原则”, 在数据仓库中的事实表中保留每一秒的数据, 从而在后续建立多维分析模型(Cube)的时候, 会对数据提前进行汇总, 保障产生分析结果的效率.

 

四. 确定维度

        维度是分析的各个角度, 例如:我们希望按照时间, 或者地区, 或者按照产品进行分析. 那么这里的时间, 地区, 产品就是相应的维度. 基于不同的维度, 可以看到各个量度汇总的情况, 也可以基于所有的维度进行交叉分析.

        维度的层次(Hierarchy)和级别(Level). 例如: 在时间维度上, 按照”年-季度-月”形成一个层次, 其中的”年”, “季度”, “月”成为了这个层次的3个级别. 我们可以将”产品大类-产品子类-产品” 换分为一个层次, 其中包含”产品大类”, “产品子类”,”产品”三个级别.

        我们可以将3个级别设置成一张数据表中的3个字段, 比如时间维度; 我们也可以使用三张表, 分别保存产品大类, 产品子类, 产品三部分数据, 比如产品维度.

        建立维度表时要充分使用代理键, 代理键是数值型的IP号码(每张表的第一个字段), 它唯一标识了第一维成员. 在聚合时, 数值型字段的匹配和比较, join效率高. 同时代理键在缓慢变化维中, 起到了对新数据与历史数据的表示作用.

 

五. 创建事实表

        在确定好事实数据和维度后, 将考虑加载事实表. 业务系统的一笔笔生产, 交易记录就是要建立的事实表的原始数据.

        我们的做法是将原始表与维度表进行关联, 生成事实表. 关联时有为空的数据时,需要使用外连接, 连接后将各维度的代理键取出放于事实表中, 事实表除了各维度代理键外, 还有各度量数据, 不应该存在描述性信息.

        事实表中的记录条数据都比较多, 要为其设置复合主键和索引, 以实现数据的完整性和基于数据仓库的查询性能优化.

 

六. 元数据

        描述数据及其环境的数据. 两方面用途:

        首先, 元数据能够提供基于用户的信息, 如记录数据项的业务描述信息的元数据能帮助用户使用数据.

        其次, 元数据能支持系统对数据的管理和维护, 如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据.

        

        元数据机制主要支持一下五类系统管理功能:

              1.   描述哪些数据在数据仓库中;

              2.   定义要进入数据仓库中的数据和从数据仓库中产生的数据;

              3.   记录根据业务时间发生而随之进行的数据抽取工作时间安排;

              4.   记录并检测系统数据一致性的要求和执行情况;

              5.   衡量数据质量.

分享到:
评论

相关推荐

    ETL工具算法构建企业级数据仓库五步法.docx

    ETL工具算法构建企业级数据仓库五步法是指通过五个步骤来构建企业级数据仓库,即确定主题、设计数据仓库架构、构建ETL流程、构建数据仓库和维护数据仓库。 第一步:确定主题。确定主题是构建数据仓库的第一步,它是...

    大数据技术 数据仓库设计与开发技术 ETL构建数据仓库五步法 共9页.pdf

    ETL构建企业级数据仓库五步法是指通过五个步骤来构建一个企业级的数据仓库。下面将对每一个步骤进行详细的解释: (一)、确定主题 确定主题是ETL构建数据仓库的第一步骤。在这个步骤中,需要确定数据仓库的主题域...

    很全的ETL学习资料

    ETL构建企业级数据仓库五步法.docx ETL高级教程.docx 三大主流ETL工具选型.docx 什么是ETL.docx 商业智能 通过SSIS设计ETL来将Oracle,DB2,Sybase等数据源的数据定期导入到数据仓库.docx 商务智能(BI)的四大关键技术-...

    数据仓库建模与ETL的实践技巧PPT教案.pptx

    **三、构建企业级数据仓库五步法** 1. **确定主题**:识别关键业务领域,如销售、财务、客户等,作为数据仓库的主题。 2. **确定量度**:定义关键业绩指标(KPIs),如销售额、利润率等。 3. **确定事实数据粒度**:...

    数据仓库建模与ETL实践技巧(重要)

    构建企业级数据仓库的五步法包括: 1. **确定主题**:这是定义数据仓库分析范围的第一步,主题应反映分析的角度和量度。例如,分析啤酒销售,主题可能是“某年某月某一地区的啤酒销售情况”。每个主题对应一个数据...

    数据仓库实例

    - **应用场景**:SSRS广泛应用于企业级报表生成和分发场景中。 ##### 4. **Business Intelligence Developer Studio (BIDS)** - **定义**:BIDS是SQL Server 2005中新增的一个开发环境,专为商业智能解决方案的...

    数据仓库建模与ETL 实践技巧

    本文描述了成功建立企业级... 着重介绍了ETL构建企业级数据仓 库的五步法,在对数据仓库分析、设计、建模方面提出了完备的解决方案和实用的高级技巧,尤其对数据 仓库模型搭建以及ETL处理有非常好的指导意义和使用价值

    数据仓库建模与ETL的实践技巧实用教案.pptx

    构建企业级数据仓库通常遵循五步法:确定数据仓库的主题,识别关键的度量,定义事实数据的粒度,设计维度及其层次和级别,最后创建事实表。理解维度意味着要明确它是数据仓库中的分类标准,如时间、地点、产品等,...

    系列 | 漫谈数仓第一篇NO.1 『​基础架构』

    数仓规范对于企业级数据仓库的建设和维护至关重要,包括命名规范、流程规范、设计规范和开发规范等。这些规范确保了数仓的一致性和可维护性。 数据治理是大数据时代的关键环节,涉及数据质量、元数据管理、数据安全...

    T6餐饮通管理软件产品亮点.pptx

    T6餐饮通采用现代化的计算机通信技术和先进的企业管理理念,构建了一个以顾客消费为中心的信息管理系统。 #### 二、餐饮“四步法” T6餐饮通提出了“四步法”产品演示策略,这是一种从“点”带动“面”的方法论: ...

Global site tag (gtag.js) - Google Analytics