SQL Server 2005 Integration Services技术概览

 

SQL Server 2005 Integration Services技术概览<o:p></o:p>

<!---->一、<!---->什么是SSIS<o:p></o:p>

Microsoft SQL Server 2005 Integration Services (SSIS) 是生成高性能数据集成解决方案（包括数据仓库的提取、转换和加载 (ETL) 包）的平台。SQL Server集成服务SSIS（SQL Server Integration Services）是SQL Server 2000中相当成功的数据转换服务DTS（Data Transformation Services）的替代产品。<o:p></o:p>

SSIS的组成分为四大部分：Integration Services服务（在Windows操作系统背后执行的服务）、Integration Services对象模型、执行环境（Runtime）和数据流引擎。<o:p></o:p>

<!---->二、<!---->SSIS的作用<o:p></o:p>

MDX是以表达式为基础的脚本语言，用于在SSIS中定义、使用和提取多维对象内的数据。它的功能如下：<o:p></o:p>

<!---->l         <!---->Integration Services 包括用于生成和调试包的图形工具和向导；<o:p></o:p>

<!---->l         <!---->用于执行工作流函数（如 FTP 操作）、执行 SQL 语句或发送电子邮件的任务；<o:p></o:p>

<!---->l         <!---->用于提取和加载数据的数据源和目标；<o:p></o:p>

<!---->l         <!---->用于清理、聚合、合并和复制数据的转换；<o:p></o:p>

<!---->l         <!---->用于管理 Integration Services 的管理服务 Integration Services 服务；<o:p></o:p>

<!---->l         <!---->用于对 Integration Services 对象模型编程的应用程序编程接口 (API)。<o:p></o:p>

<!---->三、<!---->SSIS 包的典型用途<o:p></o:p>

合并来自异类数据存储区的数据<o:p></o:p>

数据通常存储在很多个不同的数据存储系统中，从所有源中提取数据并将其合并到单个一致的数据集中确实有一定的难度。这种情况的出现有多个原因。例如：<o:p></o:p>

<!---->l         <!---->许多单位要对存储在早期数据存储系统中的信息进行归档。这些数据在日常操作中可能不重要，但对于需要收集过去很长一段时间内的数据的趋势分析来说很重要。<o:p></o:p>

<!---->l         <!---->单位的各个部门可能会使用不同的数据存储技术来存储操作数据。包可能需要先从电子表格以及关系数据库中提取数据，然后才能合并数据。<o:p></o:p>

<!---->l         <!---->数据可能存储在对相同数据使用不同架构的数据库中。包可能需要先更改列的数据类型或将多个列的数据组合到一列中，然后才能合并数据。<o:p></o:p>

Integration Services 可以连接到各种各样的数据源，包括单个包中的多个源。包可以使用 .NET 和 OLE DB 访问接口连接到关系数据库，还可以使用 ODBC 驱动程序连接到多个早期数据库。包还可以连接到平面文件、Excel 文件和 Analysis Services 项目。<o:p></o:p>

Integration Services 包含一些源组件，这些组件负责从包所连接的数据源中的平面文件、Excel 电子表格、XML 文档和关系数据库中的表及视图提取数据。然后，通常要用 Integration Services 包含的转换功能对数据进行转换。数据转换为兼容格式后，就可以将其物理合并到一个数据集中。<o:p></o:p>

数据在合并成功且应用转换后，通常会被加载到一个或多个目标。Integration Services 包含将数据加载到平面文件、原始文件和关系数据库时所用的目标。数据也可以加载到内存中的记录集中，供其他包元素访问。<o:p></o:p>

填充数据仓库和数据集市<o:p></o:p>

数据仓库和数据集市中的数据通常会频繁更新，因此数据加载量通常会很大。<o:p></o:p>

Integration Services 包含一个可直接将数据从平面文件大容量加载到 SQL Server 表和视图中的任务，还包含一个目标组件，该组件可以在数据转换过程的最后一步将数据大容量加载到 SQL Server 数据库中。<o:p></o:p>

SSIS 包可配置为可重新启动。这意味着可以从某个预先确定的检查点（包中的某个任务或容器）重新运行包。重新启动包这一功能可节省很多时间，尤其是包需要处理来自一大批源的数据时。<o:p></o:p>

可以用 SSIS 包加载数据库中的维度表和事实数据表。如果维度表的源数据存储在多个数据源中，包可以将该数据合并到一个数据集中，并在单个进程中加载维度表，而不是为每个数据源使用单独的进程。<o:p></o:p>

更新数据仓库和数据集市中的数据可能很复杂，因为这两种类型的数据存储区通常都包含可能难以通过数据转换过程管理的渐变维度。由于能够动态创建用于插入和更新记录、更新相关记录以及向表添加新列的 SQL 语句，因此，渐变维度向导可自动支持渐变维度。<o:p></o:p>

此外，Integration Services 包中的任务和转换可以处理 Analysis Services 多维数据集和维度。包更新了建立多维数据集所基于的数据库中的表后，您可以使用 Integration Services 任务和转换来自动处理多维数据集和维度。自动处理多维数据集和维度有助于使以下两种环境中的用户始终获得最新的数据：访问多维数据集和维度中信息的用户和 访问关系数据库中数据的用户。<o:p></o:p>

Integration Services 还可以在数据加载到其目标之前计算函数。如果数据仓库和数据集市存储了聚合信息，那么 SSIS 包可以计算 SUM、AVERAGE 和 COUNT 之类的函数。SSIS 转换还可以透视关系数据，并将其转换为不太规范的格式，以便更好地与数据仓库中的表结构相兼容。<o:p></o:p>

清除数据和将数据标准化<o:p></o:p>

无论数据是加载到联机事务处理 (OLTP)、联机分析处理 (OLAP) 数据库、Excel 电子表格还是加载到文件，都需要在加载前将数据进行清理和标准化。数据可能由于下列原因而需要更新：<o:p></o:p>

<!---->l         <!---->数据由一个单位的多个部门提供，每个部门使用不同的约定和标准。可能需要对数据进行不同的格式处理，然后才能使用这些数据。例如，可能需要将名和姓组合到一列中。<o:p></o:p>

<!---->l         <!---->数据是租用或购买的。可能需要将数据进行标准化和清理以满足业务标准，然后才能使用这些数据。例如，单位需要验证所有记录使用了相同的状态缩写集或相同的产品名称集。<o:p></o:p>

<!---->l         <!---->数据是区域设置特定的。例如，数据可能使用不同的日期/时间和数值格式。如果要合并来自不同区域设置的数据，那么在加载数据前必须先将其转换到同一区域设置以避免数据损坏。<o:p></o:p>

Integration Services 包含一些内置转换，可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。例如，包可将姓列和名列连接成单个全名列，然后将字符更改为大写。<o:p></o:p>

Integration Services 包还可以使用精确查找或模糊查找来找到引用表中的值，通过将列中的值替换为引用表中的值来清理数据。通常，包首先使用精确查找，如果该查找方式失败，再使 用模糊查找。例如，包首先尝试通过使用产品的主键值来查找引用表中的产品名。如果此搜索无法找到产品名，包再尝试使用产品名模糊匹配方式进行搜索。<o:p></o:p>

另一种转换通过将数据集中相似的值分组到一起来清理数据。有些记录可能是重复的，所以不应未经进一步计算就将其插入到数据库中。这种转换对识别此类记录很有用。例如，通过比较客户记录中的地址可以识别许多重复的客户。<o:p></o:p>

将商业智能置入数据转换过程<o:p></o:p>

数据转换过程需要内置逻辑来动态响应其访问和处理的数据。<o:p></o:p>

可能需要根据数据值对数据进行汇总、转换和分发。根据对列值的评估，该过程甚至可能需要拒绝数据。<o:p></o:p>

若要满足此需求，SSIS 包中的逻辑可能需要执行以下类型的任务：<o:p></o:p>

<!---->l         <!---->合并来自多个数据源的数据。<o:p></o:p>

<!---->l         <!---->计算数据并应用数据转换。<o:p></o:p>

<!---->l         <!---->根据数据值将一个数据集拆分为多个数据集。<o:p></o:p>

<!---->l         <!---->将不同的聚合应用到一个数据集的不同子集。<o:p></o:p>

<!---->l         <!---->将数据的子集加载到不同目标或多个目标。<o:p></o:p>

Integration Services 提供了用于将商业智能置入 SSIS 包的容器、任务和转换。<o:p></o:p>

容器通过枚举文件或对象和计算表达式来支持重复运行工作流。包可以计算数据并根据结果重复运行工作流。例如，如果日期在当月，则包执行某一组任务；如果不在，则包执行另一组任务。<o:p></o:p>

使用输入参数的任务也可以将商业智能置入包中。例如，输入参数的值可以筛选任务检索的数据。<o:p></o:p>

转换可以计算表达式，然后根据结果将数据集中的行发送到不同的目标。数据划分完成后，包可以对数据集的每个子集应用不同的转换。例如，表达式可以计算日期列，添加相应期间的销售数据，然后仅存储摘要信息。<o:p></o:p>

还可以将一个数据集发送到多个目标，然后对此相同数据应用不同的转换集。例如，一组转换可以汇总此数据，而另一组转换通过查找引用表中的值并添加其他源的数据来扩展此数据。<o:p></o:p>

使管理功能和数据加载自动化<o:p></o:p>

管理员经常希望将管理功能自动化，例如备份和还原数据库、复制 SQL Server 数据库及其包含的对象、复制 SQL Server 对象和加载数据。Integration Services 包可以执行这些功能。<o:p></o:p>

Integration Services 包含专为以下目的设计的任务：复制 SQL Server 数据库对象，例如表、视图和存储过程；复制 SQL Server 对象，例如数据库、登录和统计信息；使用 Transact-SQL 语句添加、更改和删除 SQL Server 对象和数据。<o:p></o:p>

OLTP 或 OLAP 数据库环境的管理通常包括数据的加载。Integration Services 包含几个使数据大容量加载更加便利的任务。可以使用某个任务将文本文件中的数据直接加载到 SQL Server 表和视图中，还可以在对列数据应用转换后使用目标组件将数据加载到 SQL Server 表和视图。<o:p></o:p>

Integration Services 包可运行其他的包。包含多个管理功能的数据转换解决方案可分为多个包，使管理和重用包更为容易。<o:p></o:p>

如 果需要在不同的服务器上执行相同的管理功能，可以使用包。包可以使用循环对服务器进行枚举并在多台计算机上执行相同的功能。为了支持 SQL Server 的管理，Integration Services 提供了可以遍历 SQL 管理对象 (SMO) 的对象的枚举器。例如，包可使用 SMO 枚举器对某个 SQL Server 安装中的 Jobs 集合中的每个作业执行相同的管理功能。<o:p></o:p>

另外，还可以使用 SQL Server 代理作业来安排 SSIS 包。<o:p></o:p>

分享到：

三大主流关系数据库Oracle、DB2和SQL Serv ... | SQL Server 2005中应关注的30个知识点

• 2006-12-30 17:12
• 浏览 1317
• 评论(0)
• 查看更多