OLAP详解

mengqingyu

浏览: 333141 次
性别:
来自: 天津

最近访客更多访客>>

aleiliuwei

jis117

devcang

yejan_123

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

数据结构 SQL Oracle Blog PHP

最近项目需要开始研究OLAP于是做了如下总结：
BI的基本概念：
http://mengqingyu.iteye.com/blog/906526，http://mengqingyu.iteye.com/blog/906464

数据仓库DM：
    业务系统—>ETL(DTS)—>原始数据库—>事实数据库—>OLAP—>前端报表。
    业务系统就是用户的Oracle数据库了，里面有一些业务数据(当然自己的系统数据字典还是有的)，此外还有一些二进制话单文件。
    ETL过程就是一堆存储过程(维度的抽取、原始数据的抽取、事实数据的日结)，然后通过DTS任务包调度起来。
    原始数据库就应该是ODS数据库了，负责把数据原封不动的从业务系统抽取过来(部分也经过转化和清洗)；出于对SQLServer2000性能的考虑，将每个业务数据表都分成历史表和当前表，当前表根据数据量的情况决定保留数据周期并定时转移到历史表中。
    事实数据库保存着聚合信息的数据，完成KPI指标的计算，以及维度的抽取工作；同时在进行聚合的同时完成数据清洗工作。其实清洗很简单的，就是对NULL的处理，连对主外键的判断都没有，也许是业务系统的数据质量还算不错吧，维度的处理仅作更新和插入处理，来保证外键数据的匹配。不过 SQLServer2000的性能实在不敢恭维，大于1000万的数据表处理的勉勉强强的，只好建了许多了分区表(实际上就是每个月一张数据表，用视图Union起来，这也是微软推荐的方式)。
参考：http://www.ibm.com/developerworks/cn/rational/r-warehouses/
工具：http://mengqingyu.iteye.com/blog/906533

OLAP联机分析处理：
    OLAP应用是目前数据仓库上的重要应用之一，是决策分析的关键。作为数据仓库最重要的多维分析工具，OLAP利用存储在数据仓库中的数据完成各种分析操作，并以直观易懂的形式将分析结果返回给决策人员。它的目标是满足决策支持或多维环境特定的查询和报表需求，技术核心是多维分析。OLAP具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对大量复杂数据的分析变得轻松而高效，以利于迅速做出正确的判断，辅助决策。
    相比于传统的OLTP(联机事务处理)，OLAP定义了多维模型的概念辅助分析操作：这是由三个维度构成的一个OLAP立方体，立方体中包含了满足条件的cell(子立方)值，这些cell里面包含了要分析的数据，称之为度量值。显而易见，一组三维坐标就唯一确定了一个子立方。
    下面介绍一下多位模型的基本概念：
　　立方体：由维度构建出来的多维空间，包含了所有要分析的基础数据，所有的聚合数据操作都在立方体上进行。
　　维度：就是观察数据的一种角度。在这个例子中，路线，源，时间都是维度，
　　这三个维度构成了一个立方体空间。维度可以理解为立方体的一个轴。要注意的是有一个特殊的维度，即度量值维度。
　　维度成员：构成维度的基本单位。对于时间维，它的成员分别是：第一季度、第二季度、第三季度、第四季度。
　　层次：维度的层次结构，要注意的是存在两种层次：自然层次和用户自定义层次。对于时间维而言，(年、月、日)是它的一个层次，(年、季度、月)是它的另一个层次，一个维可以有多个层次，层次可以理解为单位数据聚合的一种路径。
　　级别：级别组成层次。对于时间维的一个层次(年、月、日)而言，年是一个级别，月是一个级别，日是一个级别，显然这些级别是有父子关系的。
　　度量值：要分析展示的数据，即指标。如图1中一个cell中包含了两个度量值：装箱数和截至时间，可以对其进行多维分析。
　　事实表：存放度量值的表，同时存放了维表的外键。所有的分析用的数据最终都是来自与事实表。
　　维表：一个维度对应一个或者多个维表。一个维度对应一个维表时数据的组织方式就是采用的星型模式，对应多个维表时就是采用雪花模式。雪花模式是对星型模式的规范化。简言之，维表是对维度的描述。
　　除此之外，OLAP还定义了多维模型的查询语言MDX(MDX是微软发布的多维查询语言标准),它的语法与SQL有很多相似之处：
    select {[Measures].[Salary]} on columns,
　　[Employee].[employeeId].members on rows from CubeTest 对于这条语句，COLUMNS 和 ROWS都代表查询轴，其中COLS代表列轴，ROWS代表行轴。COLUMNS又可以写成0，ROWS又可以写成1，当只有两个查询轴时，可以理解为结果的展现格式是一个平坦二维表。这条语句的含义就是查询名字为CubeTest的立方体，列显示Measures维度的salary，行显示Employee维度employeeId级别的所有成员，那么得出的结果就是employeeId所有成员的salary，也就是所有员工的薪酬。

    必须掌握内容：
        1.理解BI的概念。
        2.熟练使用ETL工具。（如：Kettle)
        3.建模工具。（如：CubeDesigner-0.7.2.0_Win32)
        4.熟练使用OLAP开源框架。（如：JPivot+Mondrian)
        5.掌握Schema语法。
        6.掌握MDX语法。

    OLAP准备过程：
        1.数据仓库：数据仓库是OLAP的基础，用ETL工具来完成。
        2.数据建模：根据数据仓库物理模型来建立OLAP模型（Schema定义的XML），OLAP是基于MDX查询语言，只有这样才能符合MDX查询标准。
        3.学习JPivot+Mondrian代码：整合到实际项目中，进行二次开发：页面美化、功能扩展（如：自定义列，维度添加条件等）。
        4.或者直接使用BI套件包括以上所有功能如：pentaho社区版(在sourceforge下载的)。

MDX语句实例：
   1.

select {[Measures].[Unit Sales], [Measures].[Store Cost], [Measures].[Store Sales]} ON COLUMNS,
	  Hierarchize(Union(Union(
	  Union(
	  Union(
	  Filter(Crossjoin({[Promotion Media].[All Media]}, {[Product].[All Products]}),[Measures].[Unit Sales]>=500)
	  , Crossjoin({[Promotion Media].[All Media]}, [Product].[All Products].Children))
	  , Crossjoin({[Promotion Media].[All Media]}, [Product].[All Products].[Non-Consumable].Children))
	  , Union(Union(Crossjoin([Promotion Media].[All Media].Children, {[Product].[All Products]})
	  , Crossjoin([Promotion Media].[All Media].Children, [Product].[All Products].Children))
	  , Crossjoin([Promotion Media].[All Media].Children, [Product].[All Products].[Non-Consumable].Children)))
	  , Crossjoin({[Promotion Media].[All Media].[Bulk Mail]}, [Product].[All Products].[Drink].Children))) ON ROWS
	from [Sales]

Filter为添加维度条件。

2.

with member [Measures].[Custom] as [Measures].[Unit Sales]-1000
	select {[Measures].[Unit Sales], [Measures].[Custom]} ON COLUMNS,
	  {([Promotion Media].[All Media], [Product].[All Products])} ON ROWS
	from [Sales]

with member为自定义列。

MDX语法：http://msdn.microsoft.com/zh-cn/library/ms145506.aspx
Schema定义：http://mondrian.pentaho.com/documentation/schema.php，http://jacky6024.iteye.com/blog/412985
JPivot+Mondrian用法：http://fuwa-jane.iteye.com/blog/310933，http://zhangjj616.iteye.com/blog/149663
开源项目：http://mengqingyu.iteye.com/blog/906457

分享到：