`
izuoyan
  • 浏览: 9289527 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

SQL2005 Anerlysis Service的处理维度中一个BUG的分析

阅读更多

BUG的帽子虽然不能随便扣,大部分情况下,开发者行为才是不可信因素,但是我google整个中英文互联网也没有发现一个和合理的解释,姑且把它认为是BUG了

硬件环境:IBM 3650 4G内存

系统平台:Windows2003,SQL2005

运行环境:SQLServer2005数据库(下文称为原始库),SQLServer Anerlysis Service(下文成为SSAS)

描述:

无数应用库向原始库定时分发数据,SSAS通过原始库处理多维数据集。从任何角度讲都应该把原始库和ssas分开两台服务器,但是由于某些问题一直没有处理,暂不考虑他们之间负载的影响。由于以前数据量不是很大,系统稳定运行了1年多。

问题由来:

有两个表的数据量逐月增加,目前都为千万左右。多维数据集处理作业开始不稳定,经常失败,且频率上升。

问题描述1:

两个表对应的维度处理失败,开始的时候报内存超过13xxM限制。

解决办法1:

修改了ssas服务器配置文件和系统虚拟内存大小后稳定。

问题描述2:

随着数据量进一步增长,经常发生维度处理缓慢,甚至半天都无法完成,而一旦这两个维度处理成功则接下来作业正常。

解决办法2:

分析了好长时间,加上google,也没有发现问题所在。于是从结构和处理过程上分析。

分析内容:

1、两张表对应的两个维度都在键属性处理中,生成了索引完毕后数个小时没有反映,按照处理过程,这时应该处理对应的层次结构。

2、还有一个奇怪的问题:我的表中有800万数据,他在处理中读取了800万数据后,会显示已读取1600万数据,差不多翻了一倍。

3、观察OLAP数据文件,OLAP\DATA\数据库名\维度名\ 目录下的文件,这时会有两套文件存在,一套为上次成功处理的文件,一套为正在处理中的文件,文件名已递增的数字前缀区分,后面的都一样。

3.1 而这时比较两套文件会发现,目前处理中的每个文件几乎都为上次成功文件的两倍大小。

3.2 新处理文件的部分文件大小为0K,而老文件为几十M,文件名大致为 数字前缀.维度名.xxx.fact.map.xxx

3.3 终止当前响应缓慢的处理后,新的文件会被删除。

4、此时系统剩余内存大致在500M到1G之间波动,SQLSever内存使用稳定在1G多,而Msmdsrv.exe也就是ssas的进程占用内存在1G到1.5G之间波动,应该不关运行环境的事情。

判断:

于是很容易从逻辑上把这几个特征关联起来,操作系统还没有达到不能忍受的地步,问题出在SSAS本身。

索引生成后无法为事实表的维度生成层次结构,怀疑SQL把上次处理过的结果和本次带处理的结果叠加导致数据量翻倍。于是生成的维度文件中有大量键属性重复,而无法生成层次结构,导致几个文件无法生成一直0K,处理程序数个小时没有反映。

不解的是,这个问题不是必然发生...(这是我把它定为Bug的最大理由)

尝试解决:

把上次的结果清掉,我没有测试调整维度处理对话框中的处理选项,只是把两个维度的属性作了调整,强制重新发布,这样上次处理的结果将被删掉,这个维度全部重新处理,问题得到解决。

之后再想调整处理属性发现不论用什么方式处理,即便是以前失败的处理方式,也没有再发生问题...调整处理选项参数的方法只能等待下次问题再现的时候了,可能是明天也可能是很久以后:(

分享到:
评论

相关推荐

    用SQL语句解决Service Broker未启动的问题

    Service Broker 是 SQL Server 2005 中引入的一个新功能,它使数据库管理员可以创建异步消息应用程序。Service Broker 应用程序由多个对象组成,包括消息队列、对话和服务_contract。消息队列是用于存储消息的数据库...

    SQLServer2005_BC_x64补丁 ,SQLServer2005_BC 32位补丁

    SQL Server 2005 Business Intelligence (BC) 是SQL Server的一个特定版本,专注于数据分析和报告。它包括了如SQL Server Integration Services (SSIS),SQL Server Analysis Services (SSAS),以及SQL Server ...

    SQL2005桌面版

    在安装SQL2005桌面版之前,用户必须先确保系统已经安装了.NET Framework 2.0,这是一个由微软开发的软件框架,用于提供运行和执行.NET应用程序所需的基础环境。 SQL Server 2005的核心组件包括数据库引擎、Analysis...

    SQL serve 2005 analysis service

    SQL Server 2005 Analysis Services 是微软提供的一款强大的数据仓库和在线分析处理(OLAP)工具,它是SQL Server数据库平台的重要组成部分,主要用于商业智能(BI)应用。在这个专题中,我们将深入探讨SQL Server ...

    SQL Server2005 SP4

    SQL Server 2005 SP4(Service Pack 4)是微软针对其关系型数据库管理系统SQL Server 2005发布的一个重要更新。这个服务包包含了大量的修复程序、安全更新和性能优化,旨在提高SQL Server 2005的稳定性和安全性。SP4...

    基于SQL Server 2005 Analysis Service和OWC构造OLAP应用.pdf

    SQL Server 2005 Analysis Service是微软提供的一个强大的商务智能解决方案,它专门用于处理和分析大量数据,构建多维数据结构——Cube,以提升数据查询和分析的效率。 SQL Server 2005 Analysis Service的核心特性...

    SQL数据库管理工具(sql2005_x64)

    标签中包含的“sql2005 Express”指的是SQL Server 2005 Express Edition,这是一个免费的、轻量级的数据库管理系统,适合小型企业和个人开发者使用。而“SQLServer”则是对整个SQL Server产品系列的泛指,包括各种...

    SQL server2005(百度云下载哦)包含64位和32位的安装包

    SQL Server 2005集成了多个服务,如SQL Server Agent(自动化任务)、SQL Server Integration Services(数据集成)、Reporting Services(报表服务)和Analysis Services(OLAP和数据挖掘),使得数据管理和分析...

    SQLServer2005_SSMSEE.msi(SQL2005企业管理器) [免费版]

    Microsoft SQL Server Management Studio Express (SSMSE) 是一种免费、易用的图形管理工具,用于管理 SQL Server 2005 Express Edition 和具有高级服务的 SQL Server 2005 Express Edition。SSMSE 还可以管理任何...

    微软sql server 2005全文检索的BUG解决方案

    一个常见的问题是在升级到SQL Server 2005后,原有的全文索引可能无法正确处理某些特定的语言或特殊字符。这可能导致查询结果不准确,或者在某些情况下,查询完全失败。例如,某些语言的连字符、复合词或者特殊字符...

    sql sever 2005 x64 安装包

    sql sever 2005 x64 安装包,包含服务器安装和工具安装。

    SQL Server Compact 3.5 Service Pack 2.rar

    这个版本是SQL Server Compact 3.5的重大更新,提供了性能优化、安全增强以及一系列bug修复,旨在提升开发人员的工作效率和用户体验。 SQL Server Compact 3.5 SP2 主要特点和改进: 1. 性能提升:服务打包中包含了...

    Microsoft SQL Server 2005 向后兼容组件

    Microsoft SQL Server 2005 Backward Compatibility Components (Microsoft SQL Server 2005 向后兼容组件) SQL Server Backward Compatibility 包中包含 最新版本的 Data Transformation Services 2000 运行时 ...

    VS2005+SQL2005ASP

    总之,VS2005+SQL2005ASP.NET2_0的组合是Web开发中一个强大的工具集,结合了强大的开发工具和数据库系统,为开发者提供了构建高效Web应用的平台。而提供的相关文件则可能是帮助学习和使用这套工具的关键资源。

    基于SQLServer2005的数据仓库构建及OLAP多维分析实验.pptx

    实验中,我们将使用 Northwind 数据库作为数据源,并使用 SQL Server 2005 的 Integration Services 实现数据仓库和 ETL,使用 Analysis Service 实现数据分析。 一、背景概述 SQL Server 2005 是 Microsoft 公司...

    SQL Server Integration Service(SSIS)入门操作手册

    SQL Server Integration Service (SSIS) 是一种用于数据集成、转换和加载的企业级工具,它在SQL Server 2005及后续版本中扮演着重要角色。SSIS 是Microsoft为构建Business Intelligence (BI) 应用提供的一部分,与...

    SQL2000 2005 批量附加数据库工具

    SQL2000和SQL2005批量附加数据库工具是一款高效实用的软件,专为管理和维护Microsoft SQL Server 2000及2005数据库设计。它提供了一个便捷的方式来一次性附加多个数据库,极大地提高了数据库管理员的工作效率,特别...

    sql2005 express SqlProfiler

    在開發資料庫應用的時候,我們常會...今天發現一個不錯的 SQL Server Profiler 替代品:Profiler for Microsoft SQL Server 2005 Express Edition,竟然有免費的精簡版,而且還是 Open Source 的產品,真的是佛心來的。

    sql2005企业管理器中文版64位

    Microsoft SQL Server Management Studio Express (SSMSE) 是一种免费、易用的图形管理工具,用于管理 SQL Server 2005 Express Edition 和具有高级服务的 SQL Server 2005 Express Edition。

    SQL Server 2005 BI系列课程(13):需求分析与维度设计

    在本课程"SQL Server 2005 BI系列课程(13):需求分析与维度设计"中,我们将深入探讨商业智能(BI)项目中的关键环节——需求分析和维度设计。这一部分对于构建高效的数据仓库和分析系统至关重要,因为它们直接影响到...

Global site tag (gtag.js) - Google Analytics