数据仓库建设--数据仓库设计与使用

一、数据仓库设计的商务分析框架

    “拥有数据仓库，商务分析者能够得到什么？”首先，拥有数据仓库可以通过提供相关信息，据此估计性能并作出重要调整，以帮助战胜其他竞争对手，可以提供竞争优势。第二，数据仓库可以提高企业生产力，因为它能够快速、有效的搜集准确描述组织机构的信息。第三，数据仓库有利于客户联系管理，因为它跨越所有商务、所有部门和所有市场，提供了顾客和商品的一致视图。最后，通过一致和可靠的方式长期跟踪趋势、模式和异常，数据仓库可以降低成本。

    为设计有效的数据仓库，需要理解和分析商务需求，并构造一个商务分析框架。构建一个大型复杂的信息系统就像构造一个大型复杂的建筑，业主、设计师和建筑商都有不同的视图。这些视图结合在一起，形成一个复杂的框架，代表自顶向下、商务驱动的或业主的视图，也代表自底向上、建筑商驱动的或信息系统实现者的视图。

    关于数据仓库的设计，必须考虑四种不同的视图：自顶向下视图、数据源视图、数据仓库视图和商务查询视图。

• 自顶向下视图：使得我们可以选择数据仓库所需的相关信息。这些信息能够满足当前和未来的商务需求。（业务建模）
• 数据源视图：揭示被操作数据库系统收集、存储和管理的信息。这些信息可能以不同的详细程度和精度记录，存放在个别数据源表或集成的数据源表中。（ODS层）
• 数据仓库视图：包括事实表和维表。他们提供存放在数据仓库内的信息，包括预算的总和与计算，以及提供历史背景的关于源、日期和时间等信息。（企业级数据仓库）
• 商务查询视图：是从最终用户的角度透视数据仓库中的数据。

    建立和使用数据仓库是一项复杂的任务，因为他需要商务技巧、技术技巧和计划管理技巧。关于商务技巧，建立数据仓库涉及到理解这样的系统如何存储和管理他们的数据；如果构造一个提取程序，将数据由操作数据库转换到数据仓库；如果构造一个仓库刷新软件，合理的保持数据仓库中的数据相对于操作数据库中数据的当前性。使用数据仓库涉及理解它所包含的数据的含义，以及理解商务需求并将它转换成数据仓库查询。

    关于技术技巧，数据分析者需要理解如何由定量信息做出估价，以及如何根据数据仓库中的历史信息得到的结论推到事实。这些技巧包括发现模式和趋势，根据历史推断趋势和发现异常或模式漂移的能力，并根据这种分析提出条理清晰的管理建议。最后，计划管理技巧涉及需要与许多技术人员、经销商和最终用户沟通，以便以及时和讲求效益的方式提交结果。

二、数据仓库的设计过程

    数据仓库可以使用自顶向下方法、自底向上方法，或二者结合的混合方法设计。自顶向下方法由总体设计和规划开始。当技术成熟并且已经掌握，对必须解决的商务问题清楚并且已经很好的理解时，这种方法是有用的。自底向上方法以实验和原型开始。在商务建模和技术开发的早期阶段，这种方法是有用的。这样可以以相当低的代价推进，在作出重要承诺之前评估技术带来的利益。在混合方法下，一个组织既能利用自顶向下方法的规划性和战略性的特点，又能保持像自底向上方法一样开速实现和立刻应用。

    从软件工程的角度来看，数据仓库的设计和构造包含以下步骤：规划、需求研究、问题分析、仓库设计、数据集成和测试，最后，部署数据仓库。大型软件系统可以用两种方法开发：瀑布式方法和螺旋式方法。瀑布式方法在进行下一步之前，每一步都进行结构的和系统的分析，就像瀑布一样，从一级落到下一级。螺旋式方法涉及功能渐增的系统的快速产生，相继发布之间的间隔很短，能够快速修改，并且新的设计和技术可以及时接受。

   一般而言，数据仓库的设计过程包含如下步骤：

1. 选取待建模的商务处理。如果一个商务过程是整个组织的，并涉及多个复杂的对象，应当选用数据仓库模型。然而，如果处理是部门的，并关注某一类商务处理的分析，则应选择数据集市。
2. 选取商务处理的粒度。对于处理，该粒度是基本的，在事实表中是数据的原子级。
3. 选取用于每个事实表记录的维。典型的维是时间、商品、顾客、供应商、仓库、事务类型和状态。
4. 选取将安放在每个事实表记录中的度量。典型的度量是可加的数据量。

    由于数据仓库的构造是一项困难、长期的任务，因此应当清楚的定义它的实现范围。最初的数据仓库的实现目标应当是详细而明确的、可实现的和可测量的。这涉及确定时间和预算的分配，一个组织的那些子集需要建模，选取的数据源数量，提供服务的部门数量和类型。

    一旦设计和构造好数据仓库，数据仓库的最初部署就包括初始化安装、首次展示规划、培训和熟悉情况。平台的升级和维护也要考虑。数据仓库管理包括数据刷新、数据源同步、规划灾难恢复、管理存取控制和安全、管理数据增长、管理数据库性能以及数据仓库的增强和扩充。范围管理包括控制查询、维、报告的数量和范围，限制数据仓库的大小，或限制进度、预算和资源。

    各种数据仓库设计工具都可以使用。数据仓库开发工具提供一些功能，定义和编辑元数据库内容，回答查询，输出报告，向或从关系数据库目录传送元数据。规划与分析工具研究模式改变的影响，以及当刷新率或时间窗口改变时对刷新性能的影响。

三、数据仓库用于信息处理

    通常数据仓库使用的时间越长，它进化的就越好。进化发生在整个过程的多个阶段。最初，数据仓库主要用于产生报告和回答预先定义的查询。渐渐地，它用于分析汇总和详细数据，结果以报表和图表形式提供。稍后，数据仓库用于决策，进行多维分析和复杂的切片以及切块操作。最后，使用数据挖掘工具，数据仓库可恩呢刚用于知识发现战略决策制定。这种意义下，数据仓库工具可以分为访问与检索工具，数据库报表工具，数据分析工具和数据挖掘工具。

    企业用户需要一种手段，知道数据仓库里有什么（通过元数据），如果访问数据仓库的内容，如何使用数据分析工具考察这些内容和如何提供分析结果。

    有三类数据仓库应用：信息处理、分析处理和数据挖掘。

• 信息处理:支持查询和基本的统计分析，并使用交叉表、表、图表或图进行报告。数据仓库信息处理的当前趋势是构造低价格的基于Web的访问工具，然后与Web浏览器集成在一起。
• 分析处理：支持基本的OLAP操作，包括切片和砌块、下钻、上卷和转轴。一般的，他在汇总的和细节的历史数据上操作。与信息处理相比，联机分析处理的主要优势是它支持数据仓库的多维数据分析。
• 数据挖掘：支持知识发现，包括找出隐藏的模式和关联，构造分析模型，进行分类和预测，并使用可视化工具提供挖掘结果。