论坛首页 Java企业应用论坛

《数据仓库》

浏览 10963 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2003-09-20  
《数据仓库》(Building the Data Warehouse),W.H.Inmon 著,机械工业出版社出版。

数据仓库是数据挖掘和 OLAP 的基础,是实现一对一服务的必经之路,是目前对于企业最有战略价值的技术。

w.H.Inmon 就是“数据仓库之父”。
   发表时间:2003-09-20  
Dlee 先来讲讲OLAP和OLTP的概念吧,我只了解OLTP,对OLAP不懂。
0 请登录后投票
   发表时间:2003-09-20  
洗耳恭听,看样子dlee在data mining and data warehouse上是行家。
0 请登录后投票
   发表时间:2003-09-21  
呵呵,我也是刚刚开始转向这个方面。因为有一个机会要做一个真正的数据仓库项目,算是赶鸭子上架了。现在正在恶补数据仓库、OLAP 方面的知识。一些概念还是有些模糊,等过一段时间积累了一些经验后再做比较系统的介绍。数据仓库不是某种具体的技术,而是一个完整的体系结构,确实不是一两句话甚至一两篇文章能够描述清楚的。

我的想法是,一个好的 Java 程序员研究清楚某方面的技术,比如 Hibernate 是不成问题的。但是如果研究清楚了数据仓库、数据挖掘要达到的目的以及设计和实现的方法,那么思考的层面就接近于企业的商务人员甚至管理者了。技术的最终目的还是要解决企业所面临的问题。软件企业的核心竞争力也正在于能否为企业量身定制,提供全面综合的解决方案。

关于 OLTP 与 OLAP 的区别,我来节选一段《数据挖掘》第2章“数据仓库和数据挖掘的 OLAP 技术”中的描述:

2.1.1 操作数据库系统与数据仓库的区别
由于大多数人都熟悉商用关系数据库系统,将数据仓库与之比较,就容易理解什么是数据仓库。
联机操作数据库系统的主要任务是执行联机事务和查询处理。这种系统称为联机事务处理(OLTP)系统。它们涵盖了一个组织的大部分日常操作,如购买、库存、制造、银行、工资、注册、记帐等。另一方面,数据仓库系统在数据分析和决策方面为用户或“知识工人”提供服务。这种系统可以用不同的格式组织和提供数据,以便满足不同用户的形形色色需求。这种系统称为联机分析处理(OLAP)系统。
OLTP 和 OLAP 的主要区别概述如下。
用户和系统的面向性:OLTP 是面向顾客的,用于办事员、客户和信息技术专业人员的事务和查询处理。OLAP 是面向市场的,用于知识工人(包括经理、主管和分析人员)的数据分析。
数据内容:OLTP 系统管理当前数据。通常,这种数据太琐碎,难以用于决策。OLAP 系统管理大量历史数据,提供汇总和聚集机制,并在不同的粒度级别上存储和管理信息。这些特点使得数据容易用于见多识广的决策。
数据库设计:通常,OLTP 系统采用实体-联系(ER)模型和面向应用的数据库设计。而 OLAP 系统通常采用星型雪花模型和面向主题的数据库设计。
视图:OLTP 系统主要关注一个企业或部门内部的当前数据,而不涉及历史数据或不同组织的数据。相比之下,由于组织的变化,OLAP 系统常常跨越数据库模式的多个版本。
OLAP 系统也处理来自于不同组织的信息,由多个数据存储集成的信息。由于数据量巨大,OLAP 数据也存放在多个存储介质上。
访问模式:OLTP 系统的访问主要由短的原子事务组成。这种系统需要并行控制和恢复机制。然而,对 OLAP 系统的访问大部分是只读操作(由于大部分数据仓库存放历史数据,而不是当前数据),尽管许多可能是复杂的查询。
OLTP 和 OLAP 的其它区别包括数据库大小、操作的频繁程度、性能度量等。这些都概括在表2-1中。
......
0 请登录后投票
   发表时间:2003-09-21  
《数据挖掘——概念与技术》(Data Mining: Concepts and Techniques),Jiawei Han & Micheline Kamber 著,机械工业出版社出版。
这本书最好与《数据仓库》一起读。数据仓库提供了 OLAP 的基础,而如何更好地做 OLAP,则是数据挖掘技术所要讨论的。

韩家炜教授是我们的同胞,是国际著名的数据挖掘专家。
0 请登录后投票
   发表时间:2003-09-23  
在国外,这个技术已经发展了好多年了,4年前接受过一次为期一个星期的培训,是基于Cognos的产品讲的,对他的对数据旋转、切片和钻取功能留下了很深的印象,好像还有个概念,叫BI还是什么来着的,不过在后来的实践中没用到就逐渐的忘了,也不知道现在这个公司发展的如何了,dlee可不可以介绍一下这个行业的现状呢
0 请登录后投票
   发表时间:2003-09-25  
netkid 写道
在国外,这个技术已经发展了好多年了,4年前接受过一次为期一个星期的培训,是基于Cognos的产品讲的,对他的对数据旋转、切片和钻取功能留下了很深的印象,好像还有个概念,叫BI还是什么来着的,不过在后来的实践中没用到就逐渐的忘了,也不知道现在这个公司发展的如何了,dlee可不可以介绍一下这个行业的现状呢

我的看法是无论 BO、BI、OLAP 或者 Data Mart(数据集市)的前提都是建立在 EDW(企业数据仓库)的基础之上的。没有一个规整的 EDW 的支持,在操作型数据库基础上进行各种分析是不可想象的。

我对这个领域也是新手。这里有一个各家数据仓库产品的评估,老了点,01 年的文章。
http://www.china-pub.com/computers/emook/1137/info.htm
0 请登录后投票
   发表时间:2003-09-25  
还有这篇。
http://seekjob.myrice.com/dw-6.htm

九大数据仓库方案特点比较 

IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有实力的公司相继(通过收购或研发的途径)推出了自己的数据仓库解决方案,BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。下面针对这些数据仓库解决方案的性能和特点做分析和比较。


IBM
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics