关注业务流程,而不是业务部门
行业里一个最常见的做法是将数据集市按照业务部门进行定义。我们可以看到无数的数据仓库架构图中包含一个个“市场数据集市”,“销售数据集市”,“财务数据集市”。在你回顾这些部门的业务需求后,你一定会不可避免的发现这三个部门需要相同的核心信息,比如订单数据。不要构建包含订单的市场数据集市和包含订单的销售数据集市,而应该构建单一详细的订单数据集市,允许多个部门访问。
专注于业务流程,而不是业务部门可以更加经济地在多组织间传递一致性信息。如果你建立的是跟部门绑定的集市,那么会导致重复数据。不考虑源是来自于操作系统或者是中央数据仓库,进入集市的多重数据流将导致数据的不一致。最好的办法是确保只发布一次数据。单一的发布将减少ETL的开发成本,持续的数据管理负担以及磁盘存储需求。
当然了,在考虑到常见的基于部门构建,以流程为中心的数据集市有点错综复杂。不过你可以通过审查在维护同样的很大的事实表而产生的不必要的成本来推广该理念。尽管部门间存在阻隔,但是管理层对减少成本还是有兴趣的。
那么在公司机构里如何识别出业务流程呢?第一步是倾听你的业务用户。在你搜集需求的时候,你应该调查关键的操作型来源系统。事实上,最容易的方法是根据源系统来定义数据集市。根据单独业务流程和源系统识别出数据集市后,就可以重点关注跨流程的数据集市,比如供应链,或者所有来自于客户满意情况的输入等。我们建议你将解决这些更复杂的多流程的集市作为第二阶段。
当然了,跨数据集市你必须使用一致的维度。我们强烈建议画一个数据仓库总线矩阵图来确立和沟通你的整个数据集市策略。你要做的是不要让你的矩阵行上出现“市场”,“销售”,“财务”。
PS:上面提到了Data Warehouse BUS Matrix。


- 大小: 62.9 KB
分享到:
相关推荐
操作数据存储(ODS)和数据集市详解 操作数据存储(ODS)是一种数据存储系统,旨在提供全局一致的、细节的、当前的数据,以支持企业的即时决策需求。ODS 是数据仓库体系结构的一部分,具备数据仓库的部分特征和 ...
数据仓库还可能利用数据集市(Data Mart)来为特定部门或用户提供更快速的访问和分析能力。 在实际应用中,数据仓库可能与其他技术结合,如数据挖掘、OLAP(在线分析处理)工具、报表和可视化工具,以提供更深入的...
【主要内容】中,论文详细介绍了预处理过程,这包括从大型门户网站vivacity.it收集5个月的访问日志,并对数据进行选择、清洗和转化,形成一个数据集市,用于网络访问和注册信息的分析。接着,作者提到了几种数据挖掘...
书中可能会详细讲解数据仓库的架构,包括数据源、数据集市、OLAP(在线分析处理)服务器和前端工具。此外,还会介绍数据清洗、数据集成、维度建模(如星型模式、雪花模式)等核心步骤。 数据仓库的实施策略也是一个...
3. **构建数据集市和接口**:此阶段涉及数据模型设计(如星型或雪花型)、源数据定位、ETL(抽取、转换、加载)过程映射。数据集市的构建是基于业务需求,确保数据质量和准确性。ETL是将源数据转化为适合分析的形式...
在数据预处理阶段,作者们对访问日志进行了选择、清洗和转化,以构建一个数据集市,用于后续的网络访问和注册信息分析。预处理步骤中,异常和不完整数据被检测并排除,同时考虑了注册用户的基本信息,如性别、城市等...
SSIS 支持从多种异类数据源提取数据,进行清洗、转换,并加载到数据仓库或数据集市中。这使得企业能够整合来自不同系统的数据,确保数据的一致性和准确性。SSIS 包含一系列预定义的任务和转换,用户也可以自定义这些...
CWM是数据仓库和商务智能领域的一个关键标准,它定义了一种通用的语言和框架,用于描述、交换和集成数据仓库及数据集市的设计和实现。 CWM的核心目标是促进不同数据仓库系统之间的互操作性和兼容性,使得企业在面对...
结构化数据则通过数据集市和数据仓库进行整合,为企业决策提供支持。 大数据的主要厂商如Cloudera、EMC、IBM和Oracle等提供了商业化的Hadoop解决方案,它们为大型企业提供技术支持和服务,帮助企业应对大数据挑战。...
随后,构建数据集市和接口,包括设计OLAP模式(如星型或雪花型)、定位源数据、映射ETL过程、建立用户接口以及审计流程,以确保数据的准确性和可靠性。部署阶段涉及用户培训、软件发布、基础架构准备和安全方案。...
非结构化数据通过语义分析、文本识别等技术转化为结构化数据,然后与结构化数据集成,通过数据集市和数据仓库进行存储和管理。数据分析阶段,可以使用如Hive这样的工具进行SQL查询,进行深度挖掘和关联分析,以支持...
数据库技术是数据挖掘的基础,数据集市作为一种数据存储形式,专门用于数据分析,提高了数据访问和处理的效率。 7. **投入产出分析**: 在应用数据挖掘前,决策者需要权衡投入与回报,因为数据挖掘项目往往需要...
这一过程可能包括使用Hadoop等工具进行数据清洗、转换,然后将数据导入数据仓库或数据集市,供业务人员进行分析和决策。 【汽车制造业应用大数据】 汽车制造业可以利用大数据进行生产优化、故障预测、客户行为分析...
2. 数据仓库和数据集市的建设:通过构建数据仓库和数据集市,可以为企业提供结构化、面向主题的数据存储,方便后续的查询和分析。 3. 在线分析处理(OLAP):OLAP是一个用于多维数据分析的技术,它通过使用数据立方...
通过建立中央数据仓库和数据集市,它确保了数据的一致性和完整性,减少了数据冲突和冗余。 3. **问题 3:智能商业数据视图** 高级的商务分析需要更智能的数据视图。SQL Server 2005 Analysis Services 引入了高级...
6. IBM数据仓库三层结构由OLTP业务系统、数据仓库和数据集市组成。 7. 安全控制模块属于数据库运行管理程序模块。 8. Sybase ASE支持JAVA语言、XML语言、服务器间失败转移和分布式事务处理的完整性。 9. DML操作通常...
数据仓库自动化意味着使用技术手段来自动化数据仓库的整个生命周期,包括数据模型的建立、数据源的集成、数据的清理和转换、数据仓库的设计和构建、数据立方体和数据集市的实现,以及最终的数据仓库的维护和更新。...
PowerDesigner是一款强大的数据库设计与建模工具,常用于企业级的信息系统开发中。它提供了数据建模、业务...此外,PowerDesigner还支持数据仓库和数据集市的设计,使得在大数据环境下进行数据建模变得更加得心应手。
基于金融领域管理主题的数据仓库或数据集市及其使用等技术等。 地理信息系统是指在网络环境下多系统运行的GIS软件平台构建技术;基于3D/4D(即带有时间标识)技术的GIS开发平台构建技术等。 电子商务软件是基于...
包括支持网上财、税、库、行、海关等联网业务运作的软件技术、基于金融领域管理主题的数据仓库或数据集市及其应用等技术。 8、地理信息系统软件 地理信息系统软件是指网络环境下多系统运行的GIS软件平台构建技术、...