`

数据架构-之业务元数据参考表设计

阅读更多
目前无论是自主研发行业数据模型,还是引进业界厂商的行业模型,都是平面地描述业务,而实际情况是,平面思路的数据模型并不能解决业务逻辑定义的变化和业务逻辑结构的变化。

这里引进的新方案,就是用跟踪业务元数据的参考模型支撑业务变化中的数据模型,由于目前主流书籍和资料并没有介绍,所以只能简单介绍下基本思路。不知道Kimabll先生有没有写过相关资料,因为他指导过的项目几年前就这么设计了。虽然我这里说是引进新思路,但在几年前人家就在跑这个架构了。

首先介绍这个模型面向的实际需求:
1. 企业业务逻辑定义的变化。企业的发展是快速的,也必须快速变化才能适应竞争惨烈的世界市场。所以企业定义的业务逻辑也必须在变化中求胜,我们IT服务人员只能适应变化,不能让企业不变化。众所周知的缓慢变化维就是10多年前老前辈看见企业的业务数据会有变化和改动,于是设计出缓慢变化维解决方法,并通过三个途径去描述处理方案。

现在我们面临的问题,不仅仅是业务数据会变化,而是业务本身的逻辑定义也在变化,而不是数据。那变化维的处理方案已经鞭长莫及,必须通过更高层面的方案去解决。于是Kimabll先生考虑到了用跟踪元数据的辅助模型去处理这个棘手的问题,否则我们必须经常变化我们的模型以及对应的ETL,DW架构就无从谈起,一直在变的架构怎么能稳定运行呢?

比如企业的周定义,可以定义报表周期为周六到周五,也许某天定义会变为周日到周六;大区维的定义,也许刚开始定义的是南北大区,而后来该为东西南北,再后来改为八大大区;再比如收入的定义,财务的收入类型也许就不止一个,各大区、分公司收入定义也会不同,他们的收入定义也会变化,但是无论哪种定义,其实可以归结成收入类型去管理;再比如品类,企业产品线变化很大,而每个品类的定义也会有变化。

2.维度层级的变化需求。企业的很多维都是分层级的,比如地区可分为大区、省、地市等,也可以分为大区、分公司、省、地市。于是描述他们层级的管理表也是有必要的。当然对于层级的管理,大厂商的行业模型已经有一定的介绍,只不过建模方法可能有所不同。

具体实施办法,就是对于所有有可能定义变化的维进行一对一业务元数据跟踪,然后对于这些辅助参考表用一个总表统一管理。由于是描述元数据的表,所以都是手工输入数据,手工维护。在进入统一维度层之前和维表管理,形成由主业务模型和参考模型关联起来的新维表,这样即便业务元数据产生了变化,那么也不用对模型动手术了。这样才有可能数据仓库能使用几年甚至更长时间。

分享到:
评论

相关推荐

    豆瓣数据架构实践-员旭鹏

    豆瓣作为一个内容驱动的社交网站,其数据架构的实践对于处理大规模用户数据、实现复杂查询以及保障数据安全等方面都提供了宝贵的参考。其对不同数据存储技术的综合运用,以及针对不同场景下的优化策略,都值得业界...

    案例课程B-S架构-1期 详细设计书1-总体设计.pdf

    《案例课程B-S架构-1期 详细设计书1-总体设计.pdf》是针对OA(Office Automation)系统中车辆管理子系统的详细设计文档,旨在阐述系统各模块的设计思路与实现方式。该文档主要包括引言、软件结构、模块设计三个部分...

    案例课程B-S架构-1期 详细设计书.pdf

    在设计中,系统采用了MVC三层架构,这是常见的Web应用设计模式,其中M(模型)负责数据处理,V(视图)负责用户界面展示,C(控制器)则协调模型和视图的交互。此外,SSH框架的使用,表明系统利用了Spring进行控制...

    案例课程B-S架构-1期 详细设计书5-用户维护模块.pdf

    【用户维护模块】是B/S架构系统中的一个重要组成部分,主要用于管理单位内部各个开票点的业务操作员。这个模块的设计主要包括以下几个方面: 1. **模块概述**:用户维护模块允许执行单位主管对业务操作员进行增删改...

    Bosent技术架构设计文档

    Bosent技术架构设计文档 本文档介绍了Bosent技术架构设计的总体规划和设计思想,旨在指导和规范Bosent项目的技术架构设计。 概述 ----- Bosent技术架构设计文档的目的是为了确保Bosent项目的技术架构设计是可靠、...

    B端产品业务架构图参考资料.zip

    在实际应用中,"B端产品业务架构图参考资料"可能包含各种示例、模板、最佳实践指南等,帮助设计者更好地理解和构建符合需求的业务架构图。这些资料的价值在于提供了一套结构化的思考框架,确保产品设计能够覆盖到...

    案例课程B-S架构-1期 概要设计说明书.pdf

    系统功能结构展示了不同模块的分工,如档案查阅、档案管理、系统管理等,以及针对不同角色(如系统管理员、业务部门用户等)的操作权限分配。 通过以上内容,我们可以看到【PDE 数字档案管理系统】是一个基于B/S...

    云计算平台设计虚拟化数据中心参考架构.docx

    《云计算平台设计虚拟化数据中心参考架构》 在当今数字化时代,云计算已经成为企业信息化的重要支柱,而虚拟化数据中心作为云计算的核心,为企业提供了灵活、高效的数据处理和存储解决方案。本篇文章将详细解析虚拟...

    案例课程B-S架构-1期 AL270206基于HTML5的动态数据3D展示软件 软件需求说明书.doc

    - 主要目的是为系统分析员、程序员、测试员、实施员和最终用户提供明确的需求定义,指导软件开发过程。 - 总体目标包括:创建3D图形展示人才信息,提供多种类型的图表(如柱状图、饼图、面积图等),并通过图形...

    软件架构设计说明书.docx

    这部分明确了文档的编写目的,旨在记录系统架构的重要决策,以便项目经理制定开发计划,程序员进行详细设计,测试设计员构建测试框架,以及所有相关人员进行实施、集成和测试。同时,它界定了文档的适用范围,定义了...

    数据仓库文档模版数据仓库文档模版

    它定义了数据仓库的层次结构,包括事实表和维度表的设计,以及如何组织和分层数据以支持业务分析。此外,规划说明书还可能涉及技术选型、硬件和软件需求、性能优化等方面。 **数据仓库管理程序设计说明书**是关于...

    DAMA-DMBOK2.0数据管理知识体系大纲

    - **知识领域概述**:DAMA-DMBOK2数据管理框架包含11项知识领域,包括但不限于数据治理、数据架构、数据质量、数据安全、主数据管理、参考数据管理、元数据管理、商务智能和数据参考管理、数据建模设计、数据存储和...

    企业级数据治理之数据标准管理方案建议

    2. 数据模型与架构:数据模型是数据在系统中表示的方式,而数据架构定义了组织数据结构和管理数据流动的方法。 3. 数据质量规范:数据质量规范定义了数据必须满足的标准,确保数据的准确性、一致性和时效性。 4. ...

    架构设计模板.zip

    MySQL绘图模板可能包含数据库模型、表之间的关系、索引和触发器等元素,帮助数据库管理员和开发者规划和优化数据库结构。 6. **消息中间件绘图模板**: 消息中间件是系统间通信的重要工具,用于异步处理和解耦。...

    大数据之工业应用参考架构

    **大数据之工业应用参考架构**(IBDRA)是一个专为工业领域设计的开放式高层概念模型,旨在标准化工业领域内的大数据应用,并定义各个组成部分的基本功能。通过构建统一的数据采集、存储和分析平台,IBDRA 有助于...

    数据分析师参考资料

    - 参与数据仓库架构设计和 ETL 开发工作。 - 优化数据仓库中的 ETL 流程,解决实施过程中的技术问题。 **任职资格**: - 至少5年的数据仓库开发经验。 - 精通 ETL 实施流程和原理。 - 熟练掌握 Linux 系统及 Shell...

    【CTSY-R-D-005-A】 概要设计说明书-数据交换.doc

    - **系统性能设计**:优化系统架构,提高数据处理速度和效率。 - **运行监控设计**:建立监控机制,及时发现并解决系统运行中的问题。 - **历史数据处理设计**:定义如何存储和管理历史数据,保证数据的完整性和可...

    JAVAEE课程设计--之实验室设备管理系统.doc

    - 系统的数据模型主要包括用户表、设备表、日志表等核心表结构设计。 - 用户表:用于存储系统用户的基本信息,如用户名、密码等。 - 设备表:记录实验室内的所有设备信息,如设备编号、设备名称、购买日期、使用...

Global site tag (gtag.js) - Google Analytics