`

SQL Server数据仓库相关概念及构建流程

阅读更多

基本概念:

1.多维数据集:多维数据集是联机分析处理 (OLAP) 中的主要对象,是一项可对数据仓库中的数据进行快速访问的技术。多维数据集是一个数据集合,通常从数据仓库的子集构造,并组织和汇总成一个由一组维度和度量值定义的多维结构。


2.维度:是多维数据集的结构性特性。它们是事实数据表中用来描述数据的分类的有组织层次结构(级别)。这些分类和级别描述了一些相似的成员集合,用户将基于这些成员集合进行分析。


3.度量值:在多维数据集中,度量值是一组值,这些值基于多维数据集的事实数据表中的一列,而且通常为数字。此外,度量值是所分析的多维数据集的中心值。即,度量值是最终用户浏览多维数据集时重点查看的数字数据。您所选择的度量值取决于最终用户所请求的信息类型。一些常见的度量值有 sales、cost、expenditures 和 production count 等。


4.元数据:不同 OLAP 组件中的数据和应用程序的结构模型。元数据描述 OLTP 数据库中的表、数据仓库和数据集市中的多维数据集这类对象,还记录哪些应用程序引用不同的记录块。


5.级别:级别是维度层次结构的一个元素。级别描述了数据的层次结构,从数据的最高(汇总程度最大)级别直到最低(最详细)级别。


6.数据挖掘:数据挖掘使您得以定义包含分组和预测规则的模型,以便应用于关系数据库或多维 OLAP 数据集中的数据。之后,这些预测模型便可用于自动执行复杂的数据分析,以找出帮助识别新机会并选择有获胜把握的机会的趋势。


7.多维 OLAP (MOLAP):MOLAP 存储模式使得分区的聚合和其源数据的复本以多维结构存储在分析服务器计算机上。根据分区聚合的百分比和设计,MOLAP 存储模式为达到最快查询响应时间提供了潜在可能性。总而言之,MOLAP 更加适合于频繁使用的多维数据集中的分区和对快速查询响应的需要。


8.关系 OLAP (ROLAP):ROLAP 存储模式使得分区的聚合存储在关系数据库的表(在分区数据源中指定)中。但是,可为分区数据使用 ROLAP 存储模式,而不在关系数据库中创建聚合。


9.混合 OLAP (HOLAP):HOLAP 存储模式结合了 MOLAP 和 ROLAP 二者的特性。


10.粒度:数据汇总的层次或深度。


11.聚合|聚集:聚合是预先计算好的数据汇总,由于在问题提出之前已经准备了答案,聚合可以改进查询响应时间。


12.切块:由多个维的多个成员限定的分区数据,称为一个切块。


13.切片:由一个维的一个成员限定的分区数据,称为一个切片。


14.数据钻取:最终用户从常规多维数据集、虚拟多维数据集或链接多维数据集中选择单个单元,并从该单元的源数据中检索结果集以获得更详细的信息,这个操作过程就是数据钻取。


15.数据挖掘模型:数据挖掘使您得以定义包含分组和预测规则的模型,以便应用于关系数据库或多维 OLAP 数据集中的数据。之后,这些预测模型便可用于自动执行复杂的数据分析,以找出帮助识别新机会并选择有获胜把握的机会的趋势。

实例构建过程与分析


1.现在以一个比较简单的实例来分析和探讨MS SQL SERVER 数据仓库的构建过程。实际上数据仓的构建是相当复杂的,他结合了数据仓库的前端技术和很强的业务要求。在这儿只是以一个简单的实例来说明他大致的构建流程。


2.构建数据仓库模型,他包括两部分,一是要考虑原来的数据源能够提供哪些有用的数据,也就是经过数据的筛选之后能够为数据仓库所用。二是要看公司业务层需要什么样的分析结果。这要和公司的高级决策层紧密配合,完全了解他的业务需求,因为数据仓库的使用者主要是公司的高级决策者。


在这一阶段要做好很多前期的工作,因为你的原始数据库中的数据也许和你的正要建立的数据仓库的需求也许有很大的出入,结构完全是两马事。你如何才能将你的原始数据提取出来,作为数据仓库的有用数据呢,你的原始数据库中存储的是零碎的事务数据,而你的数据仓库中要的是经过转化和提炼过的统计数据,比如说,你的原始数据库中存储这每天的所有存款和取款记录,而你的数据仓库并不关心你的每条记录的数据,而是希望在最短的时间内,以最快的速度统计出这个月的所有存款和取款的总数量,如果这种查询放在原来的数据库上来做的话,也就失去了数据仓库的意义,超大规模的数据使你无法查询下去,这时候你就要将对这个查询有意义的数据转化到数据仓库,这就是数据清洗,即ETL。实现数据清洗有很多的方法,也有很多的细节问题,比如,数据类型的匹配,数据格式的转换,异地数据表数据集中到一起时有主键重复,以及你如何定期,按时的将数据加工到数据仓库中来等等。在我的示例中没有严格的经过着一步,因为我没有规范的原始数据库,也没有规范的业务需求。我只是运用星型模型和雪花模型做了几个典型的数据仓库表。其表关系如下:

窗口中FACT为事实表,TIME,ADDRESS,DETAIL分别为时间维,地址维,详细地址维,DETAIL又是ADDRESS的子维。他们又构成雪花模型。其中都有部分数据。


现在,数据仓库已经建立成功,下一步就是在OLAP服务器上建立元数据数据库。这个数据库和我们以前所说的数据库不同,他是存放元数据的数据库,比如我们下一步要创建的多维数据集、角色、数据源、共享维度和挖掘模型等。然后需要和早期在 ODBC 数据源管理器中建立的数据源连接,使其与数据仓库连接上。这些工作做好了之后,就可以用数据仓库中的维表来建立共享维度,现在以时间维和地址维为例。其创建过程一样。依此点下一步即可创建时间维(TIME),下面用ADDRESS和DETAIL建立雪花模型共享维度,点下一步即可创建DETAIL维。创建完成之后都要进行处理才能生效。维度创建好了之后就该创建多维数据集了。多维数据集是一种基于维表和事实表的数据集,以他来对数据仓库进行快速的访问。我们的多维数据集结构如下:

DETAIL(SREET)

DETAIL(MARK)

ADDRESS(PROVINCE,CITY)

TIME(YEAR,DAY)

到现在一个简单的数据仓库架构已经建立成功,我们利用前端分析工具来对建立的数据仓库做查询,看能否实现我们的简单的业务要求,先以EXCEL作为查询工具。我们除了用EXCEL,ENGLISH QUERY 等现成工具做查询外,还可以用MDX函数直接对OLAP做查询

到现在为止,一个简单的数据仓库已经创建成功,可以实现一些简单的业务查询。这个实例主要是分析数据仓库的创建过程以及进一步加深对数据仓库的认识和了解,进一步理解其中的基本概念。

分享到:
评论

相关推荐

    sqlserver数据仓库

    ### SQLServer数据仓库解决方案 #### 一、概述 SQL Server 数据仓库是一种高度集成的企业级解决方案,旨在为企业提供高效的数据分析和决策支持能力。通过整合来自多个数据源的信息,SQL Server 数据仓库帮助组织...

    SQLSERVER数据仓库的构建与分析

    SQLSERVER 数据仓库的构建与分析涉及多个核心概念和技术,这些技术是企业进行高效数据分析和决策支持的基础。首先,我们理解数据仓库是一个集中的、优化的数据存储系统,它为分析和报告提供服务,而不是用于日常事务...

    SQL_SERVER构建数据仓库

    数据加载是数据仓库构建的核心部分,涉及到将源系统中的数据转换并转移到数据仓库中。SQL Server 提供了多种数据复制工具来实现这一过程: - SQL Server 数据复制:包括快照复制、事务复制和合并复制,用于不同...

    SQLServer数据仓库与数据挖掘.ppt

    1. SQL Server 2005 Analysis Services (SSAS):从数据中产生知识的关键,通过这种服务,可以构建数据立方(Cube),也就是多维数据集,然后进行 OLAP 分析,SSAS 也提供数据挖掘的功能。 2. SQL Server 2005 ...

    基于SQL Server2005 的医院数据仓库构建与数据挖掘

    ### 基于SQL Server2005的医院数据仓库构建与数据挖掘 #### 概述 本文讨论了如何利用Microsoft SQL Server 2005作为技术平台来构建医院的数据仓库,并进行了数据挖掘分析。该研究针对广西肿瘤医院的具体情况,通过...

    基于SQLServer2005的数据仓库构建及OLAP多维分析实验.pptx

    基于 SQL Server 2005 的数据仓库构建及 OLAP 多维分析实验 本实验的主要目的是讲解如何使用 SQL Server 2005 构建数据仓库和实现 OLAP 多维分析。实验中,我们将使用 Northwind 数据库作为数据源,并使用 SQL ...

    SQL Server 2008 数据仓库可伸缩性相关功能介绍白皮书

    SQL Server 2008是微软推出的一款强大的关系型数据库管理系统,特别在数据仓库领域,其提供了多种增强可伸缩性的特性,旨在帮助企业处理日益增长的数据量和复杂性。本白皮书将深入探讨SQL Server 2008在数据仓库可...

    数据仓库和OLAP实践教程(sql server.rar

    在SQL Server中,我们可以使用SQL Server Integration Services (SSIS) 进行数据抽取、转换和加载(ETL)过程,构建数据仓库的基础设施。SSIS提供了丰富的数据源连接器,能够处理各种格式的数据,并通过控制流和数据...

    SQLSERVER数据仓库的构建与分析(图解)

    在构建SQL Server 2000环境下的数据仓库时,我们首先要理解数据仓库的基本概念。数据仓库是一个专门设计用于高效分析和报告的系统,它从多个源系统中整合数据,并将其转换为一致的、可用于决策支持的形式。在这个...

    SQLServer课设仓库管理

    【SQLServer课设仓库管理】是一个使用SQL Server数据库技术构建的仓库管理系统,旨在提供一个基础的库存管理和跟踪功能。在课程设计中,这样的系统通常涵盖了数据存储、查询、更新和删除等基本操作,以模拟实际业务...

    SQLServer数据仓库与数据挖掘.pptx

    SQL Server 数据仓库与数据挖掘 SQL Server 2005 提供了一个完整的数据仓库解决方案,包括数据仓库管理、数据集成、数据分析和报表设计等功能。该解决方案主要由三个服务和一个工具组成,分别是 SQL Server 2005 ...

    SQL Server 2005 BI综合案例系列课程(3):互联网联机分析中的数据仓库建模

    在本课程"SQL Server 2005 BI综合案例系列课程(3):互联网联机分析中的数据仓库建模"中,我们将深入探讨如何利用SQL Server 2005的商业智能(BI)功能,构建适用于互联网环境的数据仓库模型。这个系列教程专为那些...

    sql server 2000数据仓库设计和使用指南

    在本指南中,我们将深入探讨SQL Server 2000在构建和管理数据仓库方面的核心概念和技术。 1. 数据仓库基础 - 数据仓库的定义:数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理...

    SQL Server中数据仓库的构建与分析

    构建数据仓库模型,他包括两部分,一是要考虑原来的数据源能够提供哪些有用的数 据,也就是经过数据的筛选之后能够为数据仓库所用。二是要看公司业务层需要什么样的分析结果。这要和公司的高级决策层紧密配合,完全...

    用SQL server 2005建立数据仓库

    SQL Server 2005作为微软推出的一款强大且功能全面的数据库管理系统,在数据仓库构建方面具有独特的优势。本文将详细介绍如何利用SQL Server 2005来建立一个图书订单统计系统的数据仓库,并通过实际案例演示整个过程...

Global site tag (gtag.js) - Google Analytics