`
izuoyan
  • 浏览: 9205260 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

SQL2005 Anerlysis Service的处理维度中一个BUG的分析

阅读更多

BUG的帽子虽然不能随便扣,大部分情况下,开发者行为才是不可信因素,但是我google整个中英文互联网也没有发现一个和合理的解释,姑且把它认为是BUG了

硬件环境:IBM 3650 4G内存

系统平台:Windows2003,SQL2005

运行环境:SQLServer2005数据库(下文称为原始库),SQLServer Anerlysis Service(下文成为SSAS)

描述:

无数应用库向原始库定时分发数据,SSAS通过原始库处理多维数据集。从任何角度讲都应该把原始库和ssas分开两台服务器,但是由于某些问题一直没有处理,暂不考虑他们之间负载的影响。由于以前数据量不是很大,系统稳定运行了1年多。

问题由来:

有两个表的数据量逐月增加,目前都为千万左右。多维数据集处理作业开始不稳定,经常失败,且频率上升。

问题描述1:

两个表对应的维度处理失败,开始的时候报内存超过13xxM限制。

解决办法1:

修改了ssas服务器配置文件和系统虚拟内存大小后稳定。

问题描述2:

随着数据量进一步增长,经常发生维度处理缓慢,甚至半天都无法完成,而一旦这两个维度处理成功则接下来作业正常。

解决办法2:

分析了好长时间,加上google,也没有发现问题所在。于是从结构和处理过程上分析。

分析内容:

1、两张表对应的两个维度都在键属性处理中,生成了索引完毕后数个小时没有反映,按照处理过程,这时应该处理对应的层次结构。

2、还有一个奇怪的问题:我的表中有800万数据,他在处理中读取了800万数据后,会显示已读取1600万数据,差不多翻了一倍。

3、观察OLAP数据文件,OLAP\DATA\数据库名\维度名\ 目录下的文件,这时会有两套文件存在,一套为上次成功处理的文件,一套为正在处理中的文件,文件名已递增的数字前缀区分,后面的都一样。

3.1 而这时比较两套文件会发现,目前处理中的每个文件几乎都为上次成功文件的两倍大小。

3.2 新处理文件的部分文件大小为0K,而老文件为几十M,文件名大致为 数字前缀.维度名.xxx.fact.map.xxx

3.3 终止当前响应缓慢的处理后,新的文件会被删除。

4、此时系统剩余内存大致在500M到1G之间波动,SQLSever内存使用稳定在1G多,而Msmdsrv.exe也就是ssas的进程占用内存在1G到1.5G之间波动,应该不关运行环境的事情。

判断:

于是很容易从逻辑上把这几个特征关联起来,操作系统还没有达到不能忍受的地步,问题出在SSAS本身。

索引生成后无法为事实表的维度生成层次结构,怀疑SQL把上次处理过的结果和本次带处理的结果叠加导致数据量翻倍。于是生成的维度文件中有大量键属性重复,而无法生成层次结构,导致几个文件无法生成一直0K,处理程序数个小时没有反映。

不解的是,这个问题不是必然发生...(这是我把它定为Bug的最大理由)

尝试解决:

把上次的结果清掉,我没有测试调整维度处理对话框中的处理选项,只是把两个维度的属性作了调整,强制重新发布,这样上次处理的结果将被删掉,这个维度全部重新处理,问题得到解决。

之后再想调整处理属性发现不论用什么方式处理,即便是以前失败的处理方式,也没有再发生问题...调整处理选项参数的方法只能等待下次问题再现的时候了,可能是明天也可能是很久以后:(

分享到:
评论

相关推荐

    SQL2005_Service_Manager

    - **简单易用的界面**:SQL2005 Service Manager通常会提供一个简洁明了的用户界面,使得非专业人员也能轻松上手,提高工作效率。 - **兼容性**:虽然标题提到的是针对SQL Server 2005,但可能也会兼容其他版本,如...

    SQL2005 AS 维度属性与高级应用

    在IT领域,SQL Server 2005 Analysis Services(简称SQL2005 AS)是微软提供的一款强大的数据仓库和在线分析处理(OLAP)工具。这篇内容将深入探讨SQL2005 AS中的维度属性及其高级应用,帮助你更好地理解和运用这个...

    SQL.Server.2005.Service.Broker

    总之,SQL Server 2005 Service Broker是SQL Server中一个强大而灵活的功能组件,为解决分布式系统中的通信挑战提供了有效的工具。通过深入学习和实践,开发者可以充分利用Service Broker的能力,构建更加健壮、高效...

    基于SQL2005多维数据联机分析处理 (OLAP)分析源代码

    在IT领域,多维数据联机分析处理(Online Analytical Processing,简称OLAP)是一种用于数据分析和决策支持的技术。SQL Server 2005作为微软的一款企业级数据库管理系统,提供了强大的OLAP功能,使得用户能够对大量...

    SQL serve 2005 analysis service

    SQL Server 2005 Analysis Services 是微软提供的一款强大的数据仓库和在线分析处理(OLAP)工具,它是SQL Server数据库平台的重要组成部分,主要用于商业智能(BI)应用。在这个专题中,我们将深入探讨SQL Server ...

    基于SQL Server 2005 Analysis Service和OWC构造OLAP应用.pdf

    SQL Server 2005 Analysis Service是微软提供的一个强大的商务智能解决方案,它专门用于处理和分析大量数据,构建多维数据结构——Cube,以提升数据查询和分析的效率。 SQL Server 2005 Analysis Service的核心特性...

    SQL Server2005 SP4

    SQL Server 2005 SP4(Service Pack 4)是微软针对其关系型数据库管理系统SQL Server 2005发布的一个重要更新。这个服务包包含了大量的修复程序、安全更新和性能优化,旨在提高SQL Server 2005的稳定性和安全性。SP4...

    SQL数据库管理工具(sql2005_x64)

    标签中包含的“sql2005 Express”指的是SQL Server 2005 Express Edition,这是一个免费的、轻量级的数据库管理系统,适合小型企业和个人开发者使用。而“SQLServer”则是对整个SQL Server产品系列的泛指,包括各种...

    SQL server2005(百度云下载哦)包含64位和32位的安装包

    SQL Server 2005集成了多个服务,如SQL Server Agent(自动化任务)、SQL Server Integration Services(数据集成)、Reporting Services(报表服务)和Analysis Services(OLAP和数据挖掘),使得数据管理和分析...

    动态多维度查询——sql

    在多维度查询中,通常涉及到数据仓库和OLAP(在线分析处理)的概念,允许用户从不同角度和层次探索数据,以获得深入的业务洞察。 描述中的链接指向了一篇博客文章,虽然具体内容无法在此提供,但可以推测该文章可能...

    SQLServer2005_SSMSEE.msi(SQL2005企业管理器) [免费版]

    Microsoft SQL Server Management Studio Express (SSMSE) 是一种免费、易用的图形管理工具,用于管理 SQL Server 2005 Express Edition 和具有高级服务的 SQL Server 2005 Express Edition。SSMSE 还可以管理任何...

    SQL2005 x64 SP4文件

    1、在Windows2012上安装SQL2005过程中,在启动SQL服务那个安装步骤,会出现无法启动SQL服务的错误提示。别慌。此时上网下载两个文件sqlservr.exe和sqlos.dll(一定要是 SP4 的文件)。 2、备份系统binn目录下的这两...

    微软sql server 2005全文检索的BUG解决方案

    一个常见的问题是在升级到SQL Server 2005后,原有的全文索引可能无法正确处理某些特定的语言或特殊字符。这可能导致查询结果不准确,或者在某些情况下,查询完全失败。例如,某些语言的连字符、复合词或者特殊字符...

    Microsoft SQL Server 2005 向后兼容组件

    Microsoft SQL Server 2005 Backward Compatibility Components (Microsoft SQL Server 2005 向后兼容组件) SQL Server Backward Compatibility 包中包含 最新版本的 Data Transformation Services 2000 运行时 ...

    sqlserver2005sp

    SQL Server 2005 Service Pack (SP) 是微软针对其数据库管理系统 SQL Server 2005 发布的重要更新集合。这个"sqlserver2005sp"提及的补丁包,具体来说是 SQL Server 2005 SP1,它是SQL Server 2005的首个重大服务包...

    数据仓库日期维度表创建存储过程

    创建日期维度表的存储过程是数据仓库建模过程中的一个步骤,它通过执行SQL脚本来自动填充这个表。 在提供的文件中,我们可以看到有三个不同的SQL文件,分别对应于不同的数据库管理系统: 1. `sp_dim_date.sql`: 这...

    SQL Server Integration Service(SSIS)入门操作手册

    SQL Server Integration Service (SSIS) 是一种用于数据集成、转换和加载的企业级工具,它在SQL Server 2005及后续版本中扮演着重要角色。SSIS 是Microsoft为构建Business Intelligence (BI) 应用提供的一部分,与...

    SQL Server Compact 3.5 Service Pack 2.rar

    这个版本是SQL Server Compact 3.5的重大更新,提供了性能优化、安全增强以及一系列bug修复,旨在提升开发人员的工作效率和用户体验。 SQL Server Compact 3.5 SP2 主要特点和改进: 1. 性能提升:服务打包中包含了...

    sql2005企业管理器中文版64位

    Microsoft SQL Server Management Studio Express (SSMSE) 是一种免费、易用的图形管理工具,用于管理 SQL Server 2005 Express Edition 和具有高级服务的 SQL Server 2005 Express Edition。

    SQL Server 2005 BI系列课程(13):需求分析与维度设计

    在本课程"SQL Server 2005 BI系列课程(13):需求分析与维度设计"中,我们将深入探讨商业智能(BI)项目中的关键环节——需求分析和维度设计。这一部分对于构建高效的数据仓库和分析系统至关重要,因为它们直接影响到...

Global site tag (gtag.js) - Google Analytics