NistCK
- 浏览: 38545 次
- 性别:
- 来自: 合肥
-
最新评论
文章列表
变化数据捕获（CDC）技术是ETL工作中的重点和难点，通常需要在增量抽取时完成。实现变化数据捕获时最理想的是找到源系统的DBA。如果不能找到，就需要ETL项目组自己进行检测数据的变化。下面是一些常用的技术。
1．采用审计列
审计列指表中如“添加日期”、“修改日期”、“修改人”等信息的字段。应用程序在对该表的数据进行操作时，同时更新这些字段，或者建立触发器来更新这些字段。采用这种方式进行变化数据捕获的优点是方便，容易实现。缺点是如果操作型系统没有相应的审计字段，需要改变已有的操作型系统的数据结构，以保证获取过程涉及的每张表都有审计字段。
2．数据库日志
...
- 2009-07-20 09:32
- 浏览 697
- 评论(0)
浅析ETL过程中的元数据
- 博客分类：
- 数据库
元数据是ETL项目组面对的一个非常重要的主题，对于整个数据仓库项目也是非常重要的一部分。对于元数据的分类和使用没有很确定的定义。
通常来说，我们可以把元数据分为三类，分别为业务元数据（Business Metadata），技术元数据（Technical Metadata）和过程处理元数据（Process Execution Metadata）。
业务元数据，是从业务的角度对数据的描述。通常是用来给报表工具和前端用户对数据进行分析和使用提供帮助。
技术元数据，是从技术的角度对数据的描述。通常包括数据的一些属性，如数据类型、长度、或者数据概况分析 ...
- 2009-07-20 09:30
- 浏览 836
- 评论(0)
数据仓库构建方法中，ETL的过程和传统的实现方法有一些不同，主要分为四个阶段，分别是抽取
（extract）、清洗（clean）、一致性处理（comform）和交付（delivery），简称为ECCD。
1．抽取阶段的主要任务是：
读 ...
- 2009-07-19 21:09
- 浏览 2004
- 评论(0)
联机事务处理(OLTP)是指利用计算机网络，将分布于不同地理位置的业务处理计算机设备或网络与业务管理中心网络连接，以便于在任何一个网络节点上都可以进行统一、实时的业务处理活动或客户服务。
通常在数 ...
- 2009-07-19 15:38
- 浏览 760
- 评论(0)
数据仓库的架构大体可以分为三部分：后台是数据存储和计算引擎，前端是数据展现分析的用户界面，还有一个重要的部分就是ETL。
ETL所完成的工作主要包括三方面：首先，在数据仓库和业务系统之间搭建起一座 ...
- 2009-07-19 15:26
- 浏览 1085
- 评论(0)
针对不同的需求，主要是从转换规则的复杂度和数据量大小来看。ETL分为：
1、交互式运行环境，你可以指定数据源、目标数据，指定规则，立马ETL。这种交互式的操作无疑非常方便，但是只能适合小数据量和复 ...
- 2009-07-19 14:52
- 浏览 1418
- 评论(0)
ETL的过程就是数据流动的过程，从不同异构数据源流向统一的目标数据。其间，数据的抽取、清洗、转换和装载形成串行或并行的过程。ETL的核心还是在于T这个过程，也就是转换，而抽取和装载一般可以作为转换的输入 ...
- 2009-07-19 14:40
- 浏览 1027
- 评论(0)
ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库 ...
- 2009-07-19 14:03
- 浏览 798
- 评论(0)
【摘 要】JDOM是一个开源项目，它基于树型结构，利用纯JAVA的技术对XML文档实现解析、生成、序列化以及多种操作。
一、JDOM 简介
JDOM是一个开源项目，它基于树型结构，利用纯JAVA的技术对XML文档实现解析、生成、序列化以及多种操作。
JDOM 直接为JAVA编程服务。它利用更为强有力的JAVA语言的诸多特性（方法重载、集合概念以及映射），把SAX和DOM的功能有效地结合起来。
在使用设计上尽可能地隐藏原来使用XML过程中的复杂性。利用JDOM处理XML文档将是一件轻松、简单的事。
JDOM 在2000年的春天被Brett McLaughlin和Jason Hunter开 ...
- 2009-07-15 08:07
- 浏览 1012
- 评论(0)
HTC或HTML组件也被称作行为。它们被划分为两种类型：一种是依附的行为-用一组属性、事件和方法装饰任何现有的HTML元素；另一种是元素行为-看上去象宿主页面的定制的HTML标签的一个扩展集合。依附的行为和元素行为一起提供了开发组件和应用程序的一种简单方案。在此，我们将展示一下最为综合的情形-元素行为。
数据绑定复选框控件
为了展示元素行为，我们将构建一个定制的数据绑定复选框。构建这样一个控件背后的基本原因在于，一个标准HTML复选框具有下面若干显著的缺点：
·需要应用程序编码来把"checked"属性的值映射到商业域值，例如"Y[es]&q ...
- 2009-07-14 14:47
- 浏览 791
- 评论(0)
在微软(R)Internet Explorer 5中介绍，HTML组件(HTCs)提供一种机制来使用脚本作为动态HTML(DHTML)行为实现组件功能。以.htc扩展名保存，一份HTC是一份包含脚本和一组用于定义组件的HTC特殊元素的HTML文件。此部分包含相关元素和它们支持的成员。
对象 document 在给定的浏览器窗口中表现HTML文档。 element 返回一份主文档中连接行为的标签的参考。 PUBLIC:ATTACH 绑定一个函数到一个事件上，因此每次事件发生在特殊对象上时函数会被调用。 PUBLIC:COMPO ...
- 2009-07-14 14:45
- 浏览 678
- 评论(0)
下面通过创建一个鼠标滑过加亮显示的 HTC 来演示一下创建 HTC 的过程。
1、创建 HTC 文件的架构。一个标准的 HTC 文件含有一个 SCRIPT 块和一对可选的 COMPONENT 标记。 <PUBLIC:COMPONENT><SCRIPT></SCRIPT></PUBLIC:COMPONENT>
2、写一个可执行的脚本。在下面的代码中，ATTACH 被用于设置 HTC 接收元素在 onmouseover 和 onmouseout 事件被触发的消息。它通知
HTC 通过切换颜色来体现鼠标滑过元素时的加亮效果。 <PU ...
- 2009-07-14 14:42
- 浏览 995
- 评论(0)
在 EXPLICIT 模式中，查询书写器控制由执行查询所返回的 XML 文档的形式。必须以特定的方
式编写查询，将有关预期嵌套的附加信息显式指定为查询的一部分。可用 directive 在列级指定附
加的配置。当指定EXPLICIT 模式时，必 ...
- 2009-07-14 14:25
- 浏览 800
- 评论(0)
方法一
1.新建一个同名的数据库
2.再停掉sql server(注意不要分离数据库)
3.用原数据库的数据文件覆盖掉这个新建的数据库
4.再重启sql server
5.此时打开企业管理器时会出现置疑，先不管，执行下面的语句（注意修改其中的数据库名)
6.完成后一般就可以访问数据库中的数据了,这时,数据库本身一般还要问题,解决办法是,利用 数据库的脚本创建一个新的数据库,并将数据导进去就行了.
USE MASTER GO
SP_CONFIGURE 'ALLOW UPDATES',1 RECONFIGURE WITH OVERRIDE GO
UPDATE SYSDATAB ...
- 2009-07-14 12:55
- 浏览 677
- 评论(0)
分区列存在于每个成员表上，并且通过 CHECK 约束标识特定表中的可用数据。
分区列必须遵守如下规则：
(1) 每个基表都拥有键值由 CHECK 约束所强制的分区列。
(2) 每个表的 CHECK 约束的键范围与其它任何表互不重叠。
(3) 任何分区列的给定值必须只能映射到一个表。
(4) CHECK 约束只能使用以下运算符：BETWEEN、AND、OR、<、<=、>、>=、=。
(5) 分区列不能是标识、默认或 timestamp 列。
(6) 在视图中，分区列必须位于每个 SELECT 语句的选择列表中相同的序号位置处。
例如，分区 ...
- 2009-07-14 12:49
- 浏览 865
- 评论(0)