Sybase IQ是一款专门针对OLAP应用的数据仓库,不适合OLTP。
1. IQ数据库特点:列式存储 和默认的FP压缩。
列式存储读取多个列中读取部分列时,可以明显减少IO,加快读取速度。同时由于列式的原因,只适合批量写和查询,不适合数据更改。所以只适合OLAP应用,不适合OLTP应用。
默认的FP压缩,一般压缩比为4~5倍。
2、CPU bound类型数据库。
正是由于IQ的默认将所有数据FP索引化,需要消耗大量的CPU时间,所以相比其他的一般数据仓库,如GP/ORACLE(EXDATA),IQ数据库是一款CPU bound类型数据库,所以在选型硬件时,CPU尽量选择多核,高频率的CPU。对IQ性能会有明显改善。
3、share everything架构。
IQ数据库和ORACLE RAC一样,为share everything架构,所以的数据都需要使用磁阵作为共同的存储,各个数据库之间主要也是通过存储来交换数据。
Share everything架构,带来的对应的是扩展问题。当数据量大到一定的程度,需要应用层手动拆分业务部署在各个机器上。
4、DQP功能:
DQP是IQ针对查询扩展做的一个优化, SQL会通过查询解析器分解成多个步骤,一台机器的性能不够时,分散到多个机器进行负荷分担。
各个节点之间数据交换通过两种方式,一种是共同的存储(share tmp store),一种是网络(IQ 16以后版本才支持)
5、IQ数据库结构如图所示:
数据库文件分以下几种:
Catalog store (for metadata)
IQ store (for data)
IQ temporary store (for temporary data)
Server files
IQ message log
Catalog store transaction log
IQ server logs
其中catalog store只能放在文件系统上,物理名称是dbname.db,逻辑名称是SYSTEM。
IQ Store存放的是以压缩的索引方式存储在磁盘上的数据,包括表的事物日志,第一个表空间的逻辑名是IQ_SYSTEM_MAIN。
IQ Temporary Store,装载时对数据进行排序以建立某些索引,查询时使用临时工作区排序或者分组。
6、IQ PAGE SIZE:
条带根据数据量大小来设置,是创建数据库时设置。128K是IQ数据库的默认值,32位平台64K性能更好,数据库最大表包含多余40亿或者可能增长到8T以上,设置为256KB。
登陆数据库执行sp_iqfile可以查询到PAGE大小。
7.IQ索引:
数据仓库数据量大,创建索引带来的开销巨大,所以一般数据仓库并不推荐创建索引。
IQ数据库由于自身特点,可以创建少量索引来明显提高查询效率。索引会加快查询,但是会明显降低加载的效率。因此数据库索引个数不能多,一般单表最多1~2个索引。
IQ一共有9种索引,如HG.LF,FP等等,索引具体用法本文不介绍。
8.IQ调优思路:
(1)索引。索引可以提升查询速度,但是过多的索引会降低加载速度。
(2)准确的数据描述。合适的数据类似和描述来定义数据,会获得更好的性能。
(3)IQ使用的是表锁,所以单表加载只能依赖单HOST的能力。如果通过并行来加载提高速度,
考虑通过分表,查询时使用UNION ALL来查询。UNION ALL的使用需要满足一些条件,如不能有distinct语句,否则性能会急剧下降。
(4)配置合理的iqmc(main cache)和iqtc(tmp cache)。一般比例为4:6。根据不同的应用做适当的调整。

- 大小: 71.8 KB
分享到:
相关推荐
Sybase IQ 15.1 是一款专为分析型应用场景设计的列式数据库产品,由 Sybase 公司在 2009 年推出。与传统的行式数据库相比,Sybase IQ 在查询性能、数据压缩以及数据加载速度方面具有显著优势。本篇将重点介绍 Sybase...
- **Infobright**:一款轻量级的列式数据库管理系统,主要适用于数据分析和报表处理场景。它具有快速安装、易于管理和高性能的特点。 - **InfiniDB**:同样是一款轻量级的列式数据库,侧重于提供高性能的OLAP服务。...
ClickHouse作为一款专门为OLAP设计的列式数据库管理系统,凭借其高性能查询能力、简单易用性以及强大的实时性,已经成为众多企业和开发者进行大数据分析的首选工具之一。在面对大规模数据处理和复杂查询需求时,...
常见列式数据库系统**:除了ClickHouse外,还有其他列式数据库系统如Vertica、Paraccel (Actian Matrix and Amazon Redshift)、Sybase IQ、Exasol、Infobright、InfiniDB、MonetDB (VectorWise and Actian Vector)...
目前,我国在无线电管理领域的数据利用仍局限于数据采集和简单查询,对数据的深入分析和价值挖掘还有待加强。 无线电管理数据主要分为结构化数据和非结构化数据。结构化数据主要包括频率、台站、监测、检测等业务...
列式数据库的例子包括Vertica、Amazon Redshift、Sybase IQ、Exasol等。 #### 三、列式数据库的优势 1. **减少I/O消耗**:在分析场景下,往往只需要读取表格中的一小部分列,列式存储允许用户仅读取所需的列,从而...
Sybase IQ是一款高性能的列式数据库管理系统,以其卓越的数据压缩能力和快速查询处理能力著称。Sybase IQ适用于数据仓库、商业智能以及其他对查询性能有高要求的应用场景。 #### 特性 - **列式存储**:Sybase IQ...
此外,还支持HANA、BW、IQ等多种数据库。这种开放式的架构使得BI 4.0能够轻松地与其他第三方业务系统集成,满足不同企业的特定需求。 ### 总结 SAP Business Objects BI 4.0 是一款功能强大的商务智能解决方案,它...