`
irican
  • 浏览: 32458 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

OWB 建立数据仓库的一般过程

    博客分类:
  • OWB
阅读更多

顾名思义,OWB是用来建立数据仓库的工具。既然是工具,那么对于使用者来说,最重要的就是知道自己想要做什么,然后才是怎么去实现。就像使用word,最重要的是知道要写些什么,至于怎么使用word来完成我们心中的功能,则是下一步的工作了。

 

但成为一个好作家是一个漫长的过程。我们还没有足够的积累和机遇来知道应该如何设计数据仓库。但是我们可以通过学习工具来使这个过程变得快一些。

 

为什么要建立数据仓库?百度上一搜一大把,简单的来说就是把海量的历史数据以某种更加便于快速查询的结构保存起来。

 

我理解的建立数据仓库的过程就是一个ETL(Extract, Transform, Load)的过程。这个过程可能在被设计好之后只执行一遍(对于历史数据来说),但大多数是每间隔一段时间就运行一次,从而使我们数据仓库中的数据保持up to date.

有些人说OWB是一个ETL工具,也有人说是ELT工具,都有道理。我倒觉得没有必要在这些方面较真。当我们了解一个典型的mapping(映射)是如何在OWB被编译和执行的,这些概念自然就比较清晰明了了。

 

总的来说,建立一个数据仓库,有三个大步骤:

1. 设计和定义metadata元数据,包括data source 的data type,dimension 和cube 的结构,mapping的结构,process flow的结构,甚至schedule的设置等。

2. 将OWB编译生成的目标dimension, cube, mapping等,部署到目标oracle数据库里(如果是11gR2,则还可以部署到基于OC4J的J2EE服务器上)。具体表现为创建target table, 创建各种plsql package等等。

3. 通过process flow,schedule或手动等方式,调用执行plsql package,从而真正的将数据装载到数据仓库中。

 

一般前两步在开发测试环境中反复进行,直到方案最红确定。和写代码差不多一个意思。一旦设计完成,就会每隔一段时间进行一次第三个步骤。而如何查询和使用数据仓库中的数据,则不是我们现在需要考虑的时候,这些东东以后可以由OBISE、OBIEE,甚至其他公司的产品来使用。

 

重要是第一步。即如何设计metadata元数据。我们把ETL的设计分开来说。

Extract。一般翻译为抽取。意思是从各种不同的数据源中读取数据。可能是oracle, db2, sqlserver, mysql中的数据,可能是excel文件,可能是peoplesoft、sap中的数据,还可能是纯文本。这需要我们了解数据源的基本结构,在OWB对其进行定义。

Transform。一般翻译为转换。意思是在装入数据仓库前需要对数据结构进行的处理。比如不同的数据源中,把性别以(0,1), (M,F), (男,女)等形式保存。我们需要将其统一为一种格式,如(0,1)。再比如,不同的数据源中的字段需要截短或补齐等等。

Load。一般翻译为装载。将数据存入数据仓库。话说数据仓库的存储方式老多种。最简单的就是所谓Relational-OLAP。直接用table作为存储媒介。所有的dimension和cube都被映射到其对应的table。此外还有Multi-dimensional-OLAP,以一种全新的结构保存dimension和cube的数据。另外还有最新的所谓HOLAP,结合ROLAP和MOLAP的优点于一身。这些实现方法回头慢慢再细谈。

 

对于某个dimension或cube的ETL的过程,可以在一个mapping(映射)里完成。一个mapping在deploy的时候会以一个plsql package的形式存在。用户在实际使用当中,会根据具体的业务需要,建立N个dimension和M个cube。这些dimensional的东西可能需要一个具体的执行流程。process flow就是干这事的。process flow的概念不是OWB特有,大家应该都比较熟悉了,就是对某个执行流程的管理。一个process flow应该完成某件相对独立的大事。

 

最后就是schedule了,设定一个定时器,让某个process flow在某个时间点执行一次,完成我们装载数据仓库的整个过程。

0
0
分享到:
评论

相关推荐

    Oracle的OWB创建数据仓库过程的演示

    在本演示中,我们将深入理解OWB创建数据仓库的过程,这对于初学者来说是一个很好的起点。 一、OWB概述 Oracle Warehouse Builder是一个企业级的数据集成解决方案,它支持ETL(Extract, Transform, Load)流程,即从...

    OWB培训资料

    - **创建数据仓库模型**:根据业务需求设计数据仓库的逻辑模型,包括事实表和维度表的构建。 #### Module4: 建立映射及转换 - **创建PL/SQL Function**:介绍如何创建PL/SQL函数以支持更复杂的数据转换需求。 - **...

    OWB介绍及操作步骤

    Oracle Warehouse Builder (OWB) 是Oracle公司提供的一款强大的数据仓库构建工具,主要用于数据抽取、转换和加载(ETL)过程,以及数据仓库的设计和管理。OWB旨在简化数据仓库的构建,提供图形化的用户界面,使得...

    owb简介与学习

    2. **ETL设计**:OWB的ETL工具允许用户创建数据抽取、清洗和加载的过程。它提供了图形化的界面,可以方便地设计数据转换规则,处理数据质量问题,并调度执行计划。 3. **元数据管理**:OWB维护了一个完整的元数据...

    OWB简介与学习以及解决方案

    OWB 作为一个集成的框架,适用于构建和维护企业级数据仓库、数据集市以及电子商务智能应用程序。 在OWB的学习和实践中,首先涉及的是安装与配置环节。OWB的SERVER安装完成后,主要通过OWB Client进行ETL(Extract, ...

    Oracle_10g数据仓库实践

    这部分内容重点介绍了Oracle 10g数据仓库与Oracle Warehouse Builder(OWB)相结合的应用案例,包括如何使用OWB进行数据集成、数据仓库设计等。 #### 八、Oracle 10g 数据仓库的Discoverer应用 这部分内容详细介绍...

    数据仓库实践--数据仓库基础

    - 关于Oracle数据仓库的架构设计,包括数据仓库架构模型的创建。 - 工作流程管理,如何通过流程优化数据仓库的使用体验。 - 数据仓库的高级特性,例如数据挖掘和OLAP的集成。 整个数据仓库实践过程涵盖了从数据抽取...

    Oracle 10g数据仓库实践--数据仓库基础

    - **Oracle Warehouse Builder (OWB)**(2.2.1):OWB 是一个用于构建数据仓库的强大工具,能够帮助快速设计和实现数据仓库。 - **提取、转换、加载 (ETL) 工具**(2.2.2):讨论 ETL 工具在数据仓库构建中的作用...

    Oracle_10g数据仓库实践 (最全面).pdf

    - **OWB**:提供了图形化界面来创建和管理数据仓库。 - **ELT (Extract, Load, Transform)**:与ETL的区别在于数据先加载后转换。 - **OLAP**:提供了多维数据模型和分析功能。 - **DM**:支持数据挖掘任务,如分类...

    oracle与ibm的数据仓库比较

    Oracle的数据仓库开发过程主要依赖于OWB,通过图形化界面进行数据模型的设计、ETL流程的构建以及多维模型的创建。这种方式简化了开发流程,提高了开发效率,但可能在处理复杂数据转换逻辑时略显不足。 ##### 3.2 ...

    OWB和ODI的比较

    2. **Oracle集成**:OWB与Oracle Business Intelligence Discoverer紧密集成,允许用户直接在数据仓库中进行数据分析和报表创建。同时,它支持Oracle的特定功能,如渐变维度的处理。 3. **数据准备**:OWB包含了数据...

    Oracle的数据仓库设计与使用

    创建 Oracle 数据仓库的过程通常包括以下几个步骤: 1. 使用 Database Configuration Assistant (DBCA) 创建数据库。在 Windows 系统中,通过“开始”菜单进入相应路径启动 DBCA,然后设置数据库标识、连接选项、...

    Oracle 的数据仓库解决方案

    此外,Oracle Warehouse Builder(OWB)用于构建和管理数据仓库,包括逻辑和物理数据模型的设计,以及元数据管理。 2. **数据获取**:Oracle的数据获取能力主要体现在其ETL(Extract, Transform, Load)工具上,如...

    油田开发数据仓库的建立

    ### 油田开发数据仓库的建立 #### 一、引言 随着大庆油田四十多年的发展建设,积累了海量的油田开发生产数据。然而,随着油田开发难度的不断加大,进行有效的油田开发指标分析、剩余油分布及潜力预测变得更加复杂。...

    owb+biee操作手册

    Oracle Warehouse Builder (OWB) 和 Business Intelligence Enterprise Edition (BIEE) 是Oracle公司提供的数据仓库构建和商业智能解决方案。OWB主要用于数据仓库的设计、构建和部署,而BIEE则专注于数据分析和报告...

    OWB11g中文培训教程

    1. **OWB11g介绍**:OWB11g是Oracle数据库11g版本中的数据仓库构建工具,它提供了全面的数据集成解决方案,包括数据抽取、转换、加载(ETL)过程设计、数据模型设计和元数据管理。 2. **安装配置**:OWB11g的安装...

    恒生电子运管项目OWB教程

    恒生电子是一家知名的金融软件和服务提供商,其运管项目中的OWB(Oracle Warehouse Builder)是Oracle数据库产品的一部分,主要用于数据仓库的构建和管理。OWB提供了全面的数据集成解决方案,包括数据抽取、转换和...

    数据仓库ETL资料 是学习数据仓库的中的好帮手

    在数据仓库的建设过程中,ETL(Extract, Transform, Load)是至关重要的环节,它负责将分散的数据源抽取、转换和加载到数据仓库中。 ETL过程分为三个主要阶段: 1. **抽取(Extract)**:这是ETL的第一步,从各种...

    owb 官方文档

    3. **ETL过程**:OWB具有强大的ETL工具,允许用户创建数据提取、清洗、转换和加载的流程。这些流程可以通过图形化的界面来设计,方便非技术人员理解并操作。 4. **工作流调度**:OWB支持工作流调度和监控,可以安排...

Global site tag (gtag.js) - Google Analytics