- 浏览: 345610 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
zy_mensheng:
请问一下 怎么 js没有解析啊 还是钟表图..
调用BIEE提供的web service -
安铁辉:
师兄你很久没更新博客了
Information Dashboard Design读书笔记 -
mojunbin:
很清晰的文章
秒杀相关知识以及技术 -
yanchangjun8102:
楼主你好,我也最近在研究biee的webservice这块,按 ...
调用BIEE提供的web service -
sacredon:
不错,楼主我是看着你的这篇文章写代码调用的BIEE的Web ...
调用BIEE提供的web service
在公司花了一天时间把这本书翻完了,这本书是PM借我看的,之前一直忙项目,没有时间看,在国庆期间就想把它看完早点还了。书不厚,才218页,所以比较快的看完了,总算完成了既定目标。这本书是老外写的,但是翻译的不错。至少我从头读到尾没感觉很不顺畅的地方。看封面上写的主要四个人翻译的,看来多点人翻译校对,翻译质量还是能够上去的嘛。这本书写的挺好,介绍了数据仓库的一些基本知识,虽然多是概念上的东西,没有什么实际案例,但是对于我入门还是挺有帮助的。
书的章节后都会有一个总结,整理的很好,有时候我会先看总结,然后再针对性的看详细内容,这样看起来效率蛮高,效果也不错。主要内容是介绍了DW2.0只区别于之前的数据仓库的变化,以及DW2.0中采用的一些方案,从数据的生命周期,谈到数据模型,如何应对不断变化的业务需求,ETL在数据仓库中的角色,以及后面的性能,成本考虑以及对非结构化数据的处理。感觉有些概念是需要记下的,大部分内容就摘录总结的内容了。
DW2.0是新一代数据仓库的构架
。DW2.0和第一代数据仓库有很大的差别。四个最大的差别如下:
1,随着数据进入并存储于数据仓库,产生了对数据生命周期的认识。
2,数据仓库中包含非结构化数据。
3,DW2.0环境包含元数据。
4,DW2.0的技术基础能够随着时间而变化。
DW2.0的四个主要的生命周期区:
1,交互区,数据仓库一更新模式在交易响应时间水平下完成构建
2,整合去,数据在这里经过整合并完成分析处理
3,近线区,作为整合区数据的一个缓存区域
4,归档区,存放访问概率显著下降但仍有可能访问的数据
以上的四个区,按照数据的时间进行划分,交互区的数据非常新,比如刚2秒的数据。整合区大概有24小时或一个月之久的数据。而近线区存放3~4年的数据,作为整合区的一个缓存,如果有些数据不被频繁的访问到,则可能会将数据从整合区放到近线区,反之也有可能移回整合区,在很多方面,近线区就是整合区的延伸,近线区时可选择的,亦即数据不一定需要经过这一区。但是当数据量非常大并且数据间的访问概率差别很大时,就可以利用近线区来处理。后面提到近线区的存储成本比整合区要低很多。归档区存放超过5年甚至10年的数据,这些数据一般不会被查询到,但是不排除专门的数据分析师会用到,所以还是需要存储的。
设置不同区的原因:
由于数据的访问概率和访问模式差别很大。比如交互区的数据被频繁访问,并且其访问模式是随机访问。这样就有必要将数据进行划分,区别对待,不同区的数据采用的技术会有所不同。在经典的数据仓库中,所有的数据都被存放在磁盘存储器上,好像所有的数据都有平等的访问机会。这样其实会导致数据越聚越多,造成经常被访问的数据的访问效率下降,对不同的数据要求的响应时间也会不同,比如历史很久的数据,查询很少,可以忍受等几个小时或一天的时间等数据出来。而最近的数据会被经常访问到,希望是秒杀级的速度。所以要将数据进行分区,集中性的处理。这样层次上也比较清晰。
数据是会会随着时间流动的,慢慢的从交互区,最终移动到归档区。数据的结构在不同的区之间可能会做些改变。不同的生命周期,数据的访问方式和分析手段会不同,对数据的响应要求也会改变,这样就会利用ETL或其他应用程序来处理。
整合区
的数据是在对交互区中的数据通过ETL层处理后收集得到的。在进行ETL处理时,同时进行数据的质量处理。简单的数据质量处理就是域检查和范围检查。
访问整合区中数据事务处理仅限于读取数据。这不像交互区中,删除,修改,整合区中的数据只能访问,不能更新。整合区中的数据不能添加,删除,修改意味着不溶于数据的更改,而是可以以一种不同的方式完成对数据的更改。整合区对于同一时间提出的问题保证了回答的一致性。整合区中有两种相关的参照完整性。
第一张是区间参照完整性,区间参照完整性指的是交互区通过各区时的完整性。就是说,当数据从交互区进入整合区时,数据必须有可辨别的源和目的以确保数据不会丢失。整合区中另一种参照完整性是相同区内的参照完整性,这种完整性意味着同一区内数据元素之间可能存在某种关系。
整合区的数据通常与使用它的某一特定版本的软件是兼容的。到归档数据被从归档环境中检索出来时,使用它们的这个版本的软件可能早已不存在了。因此,把归档区的数据结构设计的与整合区一样是不明智的
。没有任何理由不允许数据以两种格式存放在归档环境-一种是整合区中的源格式,另一种是更为简单通用的格式。
近线区
就像是整合区的一个缓存
。近线区基于非磁盘存储技术运行,其中包含了整合区中数据的镜像。近线区通过人工或者一种跨媒介存储管理(CMSM)方法与整合区连接。近线区的工作流主要是不频繁的数据读取。但是数据的读取都是集中进行的。当数据的访问频率下降时就被放入近线区。
DW2.0中的元数据
DW2.0中的每个区中都有各自的元数据,其中包括交互区元数据,整合区元数据,近线区元数据以及归档区元数据。归档区元数据不同于其他元数据,这是因为归档区元数据直接置于归档数据中,以确保元数据不会跟其所描述的基础数据分离或丢失。
DW2.0的方法与途径
成功实施DW不是一次性可以完成的,存在需求不明确,开发周期长等问题。所以企业需要采用一种螺旋型的开发方法,以快速多次迭代的方式完成数据仓库的开发。每次迭代的开发周期不应超过3个月
。引入
螺旋式方法
时第二代数据仓库迈向成功的关键一步,其被证明是建立数据仓库最为行之有效的方法。螺旋式方法因为“
七流法
”的实施,其功能更为强大。数据仓库/商业智能项目方法的七种流的每一种都侧重于企业数据结构的不同方面,并且都采用不同的和相应合适得工作方法:
1,企业参考模型流:以对象为单位建立的企业参考模型
2,企业知识协调流:以工作为单位建立的企业知识协调
3,信息工厂开发流:以主题为单位建立的信息工厂开发
4,数据归档定位流:以源为单位建立的数据归档和定位
5,数据纠正流:以属性为单位建立的数据校正
6,基础设施流:以组件为单位建立的基础设施管理
7,整体信息质量管理流:以工序为单位建立的整体信息质量管理
以上的每一事件流是根据不同的步调进行的。每一个流是同步开始和并发驱动的,并且需要监控和协调。
数据模型与DW2.0
建立数据模型的第一步是定义整合范围。数据模型建立在企业的数据基础之上,但是大多数机构有大量的数据,这样即使定义了整合范围,仍然可能导致数据模型的建立永无休止。在这种情况下,要明确的区分粒状型数据和概括型数据。
区别粒状型数据和概括型数据:
粒状型数据是指体现最底层意义的数据。一个人的姓名是粒状型数据,生日也是粒状型数据,薪水在一个时段内也可以看成是粒状型数据。概括型数据则是诸如一天的交易量,一个月的收入,一年企业的员工数,一个季度内的国民生产总值之类的数据。
关于为什么要区别
粒状型数据和概括型数据
主要有以下几个原因:
1,概括型数据远远多于粒状型数据
2,概括型数据变化速度比对其建模过程要快
3,概括型数据自身携带描述其是如何形成的算法。
如果数据模型中包含概括型数据,那么该模型肯定不能完成。
数据模型包括三个
层次
-ERD层,中间层以及底层。
交互区的形成由应用模型决定,整合区的形成由企业数据模型决定。
一些数据模型可以被用在非结构数据中。特别是外部分类可以有为它们建立的数据模型。另外,内部数据模型可以根据主题建立模型,这些主题是根据文本产生的。
监视机制:
数据仓库在大部分情况下,就像是一个黑盒,随着时间的变化,数据仓库会出现这样或那样的问题,所以要有相应的监视机制,在发生问题时能够提前通知,而不是我们被动的去做。在DW2.0环境中至少需要三种监视
:事务监视(包含响应时间,高峰期处理的资源使用情况,检测工作力量,队列长度等),数据质量监视(包含ETL数据质量,转化数据的完整一致性),数据仓库监视(检测数据的使用频度,休眠情况,通过嗅探sql可以做到)
ETL与DW2.0
ETL是用于转换数据状态的过程。数据通过ETL处理后由应用状态转换为企业状态。ETL处理发生在数据进入交互区时,在数据由交互区向整合区过渡时会再次发生。ETL可以以在线模式或批处理模式运行。以在线模式运行时强调的是数据的移动,而以批处理模式运行时强调的是数据的转换。
在大量的数据需要进入目的地时,ETL处理可以以一种并行的方式运行。ETL的一个副产品是用于描述数据移动的元数据,它的另一个副产品是审核记录。除了数据转换之后,ETL处理还包含了简单的数据质量检查。
DW2.0的性能问题
有两种类型的性能:事务型和分析型。当事务型处理的性能出现问题时,公司的操作型活动会受到影响,而当分析型处理的性能出现问题时,公司的分析能力就会受到影响。
提升性能
可以采用以下方法:
1,选择合适的索引
2,尽快移除休眠数据
3,培训终端用户怎样识别好的和差的代码
4,监控事务和数据仓库环境,以便当性能变差时,可以有一个用于判断到底出现什么错误的起点
5,规划容量以便组织可以预见资源将要被用完
6,升级,保证正在使用的是最新版本的硬件和软件
7,元数据,以便利用重用性,最小化所需的工作量
8,批处理,减少消耗的时间
9,事务并行,有效的处理大的工作负荷量
10,工作负荷量管理,保证一项工作不会因为大小而合其他工作冲突
11,数据集市,完成从中央数据仓库中转出的主要的分析型处理
12,探索工具,将统计型处理移动到其他位置进行
13,基于事务所要使用的资源将事务分为不同的类
14,服务标准协议,建立量化的指标来衡量性能
15,保护交互区来最小化资源的争夺
16,将数据分成不同类别来分别管理
17,选择合适的硬件和软件来实现性能
18,区别农民和探索者的工作
19,非正规化数据,将经常会被同时访问的数据物理的放到一起
20,检查由工具(如商业智能工具)自动产生的代码
数据集市
包含了用于做决策的部门数据。有若干理由支持建立数据集市:
1,机器周期成本低
2,终端用户拥有控制权
3,DW2.0的性能得以提升
发表评论
-
Information Dashboard Design读书笔记
2013-06-20 18:34 2086第一章: Everybody wants a ... -
BIEE之timestamp问题
2012-12-12 21:13 1910最近在做一个需求, ... -
timeTunnel的学习
2012-09-25 19:26 2756采集数据(通过TT的cli ... -
数据挖掘之归一化
2012-09-24 21:10 3537在阅读数据模型的文章中,经常看到针对特征维度进行归一化处理。 ... -
BIEE 界面DIY
2012-09-06 21:49 2255改图片和css不需要重启服务,但要注意清除IE缓存。l在C:\ ... -
BIEE登录问题排查及集群搭建
2012-07-01 21:08 3104背景: BIEE服务器虽然搞了两台,但是只是作为冷备。大部 ... -
BIEE10g集群配置
2012-07-01 21:08 0mark 下。后续补上。 -
OBIEE的ibot配置
2012-02-14 15:30 1819http://prolynxuk.com/blog/?p=28 ... -
聚集导航的设计和实现之读书笔记
2012-01-31 15:47 1843关于聚集导航的技术,最近读了一本很不错了书籍《Masterin ... -
调用BIEE提供的web service
2011-11-17 15:33 9162门户项目中准备用web service获取现有的制作好的报表 ... -
biee清除缓存脚本
2011-10-10 22:55 3705前面文章 http://jianchen.iteye.com ... -
OBIEE 变量
2011-08-29 21:34 1217biee的变量分类以及在各个组件的引用方法: 这 ... -
OBIEE Data model Best Pratices
2011-08-28 22:31 1404Data Model Best Practices 1, ... -
性能测试 and BIEE(二)
2011-08-28 20:29 1891测量以及监控 (measing and monito ... -
性能测试 and BIEE(一)
2011-08-28 20:19 3705目标: 1. 性 ... -
部署普及型BI关键成功因素
2011-08-15 16:24 1087部署普及型BIwhat is it?传 ... -
BIEE缓存设置
2011-08-14 18:22 35371,BI server cache OracleBI\ser ... -
【转】据仓库设计的三级数据模型
2011-08-13 17:33 1815所谓数据模型,就是 ... -
聚集导航出错
2011-07-25 19:35 1001今天遇到一件很奇怪的 ... -
kettle的源代码svn地址
2011-07-06 15:51 2961网上一开始搜索到的地址 svn://source.pen ...
相关推荐
【DW2.0 下一代数据仓库架构】 数据仓库(Data Warehouse)是一种专为数据分析而设计的系统,它从各种操作型数据库中收集、整合数据,为业务决策提供支持。随着大数据时代的到来,传统的数据仓库已经无法满足处理...
DW2.0下一代数据仓库的构架
随着大数据技术的发展,传统的数据仓库已无法满足现代企业的需求,于是诞生了“DW2.0”,即下一代数据仓库的架构。 DW2.0的核心理念在于提供更高效、灵活和可扩展的数据处理能力,以适应快速变化的业务环境和不断...
DW2.0++下一代数据仓库的构架,数据仓库,DW
inmon 具有代表性关于数据仓库的著作,很值得深看
为了解决上述问题,业界开始探索新的数据处理和分析架构,其中DW2.0作为一种新兴的数据仓库概念被广泛讨论。DW2.0强调的是数据生命周期管理、结构化与非结构化数据的融合处理以及元数据管理等关键特性。 #### 二、...
书中给出了被Inmon称之为DW2.0的下一代数据仓库构架。之所以称之为DW2.0,是相对于第一代数据仓库而言的。DW2.0描述的架构有不同于第一代数据仓库的的一些特点,这些特点包括但不限于: 1,DW2.0提出了数据仓库生命...
### DW 2.0:下一代数据仓库架构的关键知识点解析 #### 一、引言与背景 数据仓库(Data Warehouse, DW)自诞生以来已经发展了大约二十年,它已经成为企业信息技术基础设施的重要组成部分。最初,数据仓库是为了...
libgcc_s_dw2-1.dll是x86架构下的一个动态链接库(Dynamic Link Library),它在Windows操作系统中扮演着重要的角色。这个文件与GCC(GNU Compiler Collection)紧密相关,GCC是GNU项目的主要组件之一,是一个开源的...
数据仓库2.0(DW2.0)是由Bill Inmon提出的下一代数据仓库架构的概念。它不仅是一种架构设计,更是对未来数据仓库发展方向的一种愿景。DW2.0旨在通过提供一种持续的质量改进机制来提高企业对数据仓库投资的价值。 *...
### 数据仓库2.0 (DW2.0):下一代数据仓库技术详解 #### 一、引言 数据仓库(Data Warehouse)自诞生以来已经发展了大约二十年,它已经成为企业信息技术基础设施的重要组成部分。最初,数据仓库是为了满足企业的...
首先,文件标题“SDIN9DW4-32G.pdf”指向了一个特定的存储产品——闪迪(SanDisk)公司的eMMC产品型号SDIN9DW4-32G的数据手册(datasheet)。eMMC(嵌入式多媒体卡)是一种集成闪存存储解决方案,通常被用于智能手机...
### DW15-1600万能断路器知识点详解 #### 一、概述 DW15-1600万能断路器是一种重要的电力保护设备,主要用于配电网络中的过载保护、短路保护及不频繁地接通与分断电路。该型号断路器适用于交流50Hz或60Hz,额定...
给codeblocks配置opencv时弹出找不到 libgcc_s_dw2-1.dll 文件的解决办法
例如,虚拟操作数据存储(Virtual ODS)在 DW2.0 中被提出,它强调通过虚拟化技术减少物理存储,提高灵活性。 4. **企业信息工厂(Enterprise Information Factory, EIF)**:EIF 是一种全面的数据管理框架,旨在...
DW CS3--EXT2.2插件DW CS3--EXT2.2插件DW CS3--EXT2.2插件DW CS3--EXT2.2插件DW CS3--EXT2.2插件