`
nlslzf
  • 浏览: 1044710 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

如何在亿级记录表中创建索引

阅读更多
http://ninedns.com/oracle/200742218395312863.html

1. 查看表的具体情况

查看是不是分区表,有多少个分区、分区字段:

SQL> col table_name for a20

SQL> col column_name for a20

SQL> select a.table_name,a.partitioned,b.partition_count,c.column_name

2 from user_tables a, user_part_tables b, user_part_key_columns c

3 where a.table_name='STAT_SUBMIT_CENTER'

4 and b.table_name='STAT_SUBMIT_CENTER'

5 and c.name='STAT_SUBMIT_CENTER';

TABLE_NAME PAR PARTITION_COUNT COLUMN_NAME

-------------------- --- --------------- --------------------

STAT_SUBMIT_CENTER YES 50 MSGDATE

查看已使用的每个分区的大小:

SQL> select segment_name,partition_name,round(bytes/1024/1024) from user_segments

where segment_name ='STAT_SUBMIT_CENTER' and bytes/1024/1024>0.25 order by 3 desc;

SEGMENT_NAME PARTITION_NAME

SEGMENT_NAME PARTITION_NAME ROUND(BYTES/1024/1024)

-------------------------- ------------------------------ ----------------------

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051101 1722

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051021 1488

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051111 1440

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051121 1355

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051221 1335

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20050911 1309

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051211 1253

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051201 1247

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20050921 1198

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20060101 1151

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20060111 1068

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051001 1018

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20051011 865

STAT_SUBMIT_CENTER STAT_SUBMIT_CENTER_20060121 796

14 rows selected.

查看整个表的大小:

SQL> select segment_name,sum(bytes/1024/1024) from user_segments

where segment_name ='STAT_SUBMIT_CENTER' group by segment_name;

SEGMENT_NAME

SEGMENT_NAME SUM(BYTES/1024/1024)

-------------------------------- --------------------

STAT_SUBMIT_CENTER 17234

查看表的记录数:

SQL> set timing on

SQL> select count(*) from STAT_SUBMIT_CENTER;

COUNT(*)

----------

170341007

Elapsed: 00:14:18.60

查看这个表上的索引情况如下:

table STAT_SUBMIT_CENTER 17234 M

index IDX_SUBCEN_ADDRUSER 5155 M ADDRUSER

PK_STAT_SUBMIT_CENTER 10653 M MSGDATE,ADDRUSER,MSGID

然后,查看一些数据库参数情况:

SQL> show parameter work

NAME TYPE VALUE

NAME TYPE VALUE

------------------------------------ ----------- ------------------------------

workarea_size_policy string AUTO

SQL> show parameter pga

NAME TYPE VALUE

------------------------------------ ----------- ------------------------------

pga_aggregate_target big integer 209715200

SQL> select * from dba_temp_files;

FILE_NAME

------------------------------------------------------------------------------------------------------------------------

FILE_ID TABLESPACE_NAME BYTES BLOCKS STATUS RELATIVE_FNO AUT MAXBYTES MAXBLOCKS

---------- ------------------------------ ---------- ---------- --------- ------------ --- ---------- ----------

INCREMENT_BY USER_BYTES USER_BLOCKS

------------ ---------- -----------

/bgdata/oracle/temp01.dbf

1 TEMP 3563061248 434944 AVAILABLE 1 YES 4294967296 5242886400 3562012672 434816

2. 需要考虑的几个方面

1)创建的索引需要几个G的磁盘空间。

2)创建索引需要排序,使用pga_aggregate_target,要把这个值从200M加大到2G。

3)如果内存不够,需要temp表空间,则要把temp表空间加大到8G——itpub上有一个帖子说过,15亿条记录用了34G空间。

4)在线创建,时间会比较长。讨论后,停止这个表的操作,非online创建。

3. 实际操作过程

1)数据文件够,不扩展;temp数据文件扩展:

alter database tempfile '/bgdata/oracle/temp01.dbf' resize 8192m;

2)在workarea_size_policy=AUTO的情况下,改pga_aggregate_target=2048m。对于串行操作,一个session能使用的pga=MIN(5%PGA_AGGREGATE_TARGET,100MB),这样可以使得pga用到最大的值:

alter system set pga_aggregate_target=2048m;

3)因为这是一个比较长的过程,所以写脚本让后台运行:

nohup time createind.sh &

vi createind.sh

#!/bin/sh

sqlplus user/password <

create index IDX_SUBMIT_RECORDTIME on STAT_SUBMIT_CENTER(RECORDTIME) local;

exit

EOF

4)创建过程中可以观察v$sort_segment,v$sort_usage看排序情况:

nohup time createind.sh &

vi createind.sh

#!/bin/sh

sqlplus user/password <

create index IDX_SUBMIT_RECORDTIME on STAT_SUBMIT_CENTER(RECORDTIME) local;

exit

EOF

5)创建完成后,把tempfile和pga_aggregate_target改回原值:

alter database tempfile '/bgdata/oracle/temp01.dbf' resize 4096m;

alter system set pga_aggregate_target=500m;

4. 实际创建过程中观察到的情况

1)开始之前:

SQL> select tablespace_name,current_users,total_blocks,used_blocks,free_blocks from v$sort_segment;

TABLESPACE_NAME CURRENT_USERS TOTAL_BLOCKS USED_BLOCKS FREE_BLOCKS

------------------------------- ------------- ------------ ----------- -----------

TEMP 0 431360 0 431360

SQL> select * from v$sort_usage;

no rows selected

2)创建之初,抓到这么一条sql:

insert into obj$(owner#,name,namespace,obj#,type#,ctime,mtime,st

ime,status,remoteowner,linkname,subname,dataobj#,flags,oid$,spar

e1,spare2)values(:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,

:15,:16, :17)

3)然后v$sort_segment.USED_BLOCKS变大,v$sort_usage.BLOCKS变大,一直增长到:

SQL> select tablespace_name,current_users,total_blocks,used_blocks,free_blocks from v$sort_segment;

TABLESPACE_NAME CURRENT_USERS TOTAL_BLOCKS USED_BLOCKS FREE_BLOCKS

------------------------------- ------------- ------------ ----------- -----------

TEMP 1 431360 46720 384640

SQL> select * from v$sort_usage;

USERNAME USER SESSION_ADDR SESSION_NUM SQLADDR SQLHASH

------------------------------ ------------------------------ ---------------- ----------- ---------------- ----------

TABLESPACE CONTENTS SEGTYPE SEGFILE# SEGBLK# EXTENTS BLOCKS SEGRFNO#

------------------------------- --------- --------- ---------- ---------- ---------- ---------- ----------

DPC DPC 00000003974CFFB0 6134 0000000399CAB288 1254950678

TEMP TEMPORARY SORT 201 431113 365 46720 1

这个过程中抓到的sql为:

select file# from file$ where ts#=:1

4)v$sort_segment.USED_BLOCKS变为0,v$sort_usage.BLOCKS变为0。

5)重复3,4两步,估计这个是创建一个分区的索引。

需要解释一下的是,上面的sql只是我随机抓到的运行时间比较长的,整个create index过程会复杂很多,具体怎么样可以用sqltrace跟踪。这里主要看的是temp表空间的使用情况。

同时,在创建的过程中:

SQL> select segment_name,partition_name from user_segments where segment_name='IDX_SUBMIT_RECORDTIME';

no rows selected

SQL> select index_name,partition_name from user_ind_partitions where INDEX_NAME='IDX_SUBMIT_RECORDTIME';

no rows selected

当时忘了查user_segments中其实是有一个segment_name为一串数字的记录,那个才是正在创建的索引;如果这个事务失败了,将回滚。

最后耗时99分钟完成。

5. 创建完成后分析索引

但是接下来还有一件事。创建完成后要分析索引,否则就是走了索引,查询速度也会很慢。

SQL> explain plan for select count(*) from stat_submit_center where recordtime>trunc(sysdate);

Explained.

SQL> @?/rdbms/admin/utlxplp.sql

PLAN_TABLE_OUTPUT

------------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------

| Id | Operation | Name | Rows | Bytes | Cost | Pstart| Pstop |

-------------------------------------------------------------------------------------------------

| 0 | SELECT STATEMENT | | 1 | 9 | 4 | | |

| 1 | SORT AGGREGATE | | 1 | 9 | | | |

| 2 | PARTITION RANGE ALL | | | | | 1 | 50 |

|* 3 | INDEX FAST FULL SCAN| IDX_SUBMIT_RECORDTIME | 8878K| 76M| 4 | 1 | 50 |

-------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------

3 - filter("STAT_SUBMIT_CENTER"."RECORDTIME">TRUNC(SYSDATE@!))

Note: cpu costing is off

16 rows selected.

SQL> set autotrace on explain

SQL> set timing on

SQL> select count(*) from stat_submit_center where recordtime>trunc(sysdate);

aa^Cselect count(*) from stat_submit_center where recordtime>trunc(sysdate)

*

ERROR at line 1:

ORA-01013: user requested cancel of current operation

Elapsed: 00:11:49.85

SQL>

SQL> set autotrace off

上面可以看到,因为没有分析索引,虽然它走的是新建的IDX_SUBMIT_RECORDTIME索引,但是查询速度很慢,10分钟后也没有结果。下面我们分析一下:

SQL> Analyze index IDX_SUBMIT_RECORDTIME estimate statistics;

Index analyzed.

Elapsed: 00:00:06.84

SQL> set autotrace on explain

SQL> select count(*) from stat_submit_center where recordtime>trunc(sysdate);

COUNT(*)

----------

926736

Elapsed: 00:00:05.37

Execution Plan

----------------------------------------------------------

0 SELECT STATEMENT Optimizer=CHOOSE (Cost=4360 Card=1 Bytes=9)

1 0 SORT (AGGREGATE)

2 1 PARTITION RANGE (ALL)

3 2 INDEX (RANGE SCAN) OF 'IDX_SUBMIT_RECORDTIME' (NON-UNI

QUE) (Cost=4360 Card=8878740 Bytes=79908660)

SQL> set autotrace off

索引分析之后,查询时间为5分钟左右,效率大大提高。

至此,完成全部操作。

作者简介:柔嘉维则;作者Email地址为baobaoc@hotmail.com;作者Blog为http://spaces.msn.com/roujiaweize/
分享到:
评论

相关推荐

    [Oracle]如何在亿级记录表中创建索引

    ### Oracle中亿级记录表创建索引的知识点详解 #### 一、背景介绍 在Oracle数据库中处理亿级数据量的表时,合理的索引设计是优化查询性能的关键因素之一。索引能够加快数据检索的速度,减少I/O操作次数,但同时也...

    数据库 创建索引 sql oracle

    * 唯一索引:要求创建索引的关键字段值在表中不能有重复值。 * 复合索引:对表创建的索引是基于多个字段对表中的记录排序的。 索引的创建 ------------ 创建索引可以使用 Enterprise Manager、Transact-SQL 语句和...

    Oracle在线建立超大表的索引

    在Oracle数据库中,为含有千万级别记录的大表创建索引是一项挑战性任务,尤其是对于那些处于高并发在线生产环境中的表。本文将详细介绍如何为一个核心大表(INFO_CUSTOMER)创建一个全局B树索引,并在此过程中尽可能...

    oracle创建表,索引,表空间,触发器,schema用户,序列的Sql文

    这个触发器在Employees表上设置,每当有新记录插入时,会自动将LastUpdate字段设置为当前系统时间。 5. **创建Schema用户**:Schema在Oracle中是逻辑上的数据库对象集合,通常与一个特定的数据库用户关联。使用`...

    创建数据库表与索引实验.docx

    **示例3:创建索引** ```sql CREATE INDEX idx_姓名 ON 学生档案 (姓名 ASC); CREATE UNIQUE INDEX udx_学号 ON 学生档案 (学号 ASC); CREATE CLUSTERED INDEX cdx_学号 ON 学生档案 (学号 ASC); CREATE INDEX idx_...

    创建索引对SQL语句执行的影响.pdf

    这是因为创建索引不会对已经在执行中的SQL语句产生影响。 三、结论 创建索引可以提高SQL语句的执行速度,但是它对已经在执行中的SQL语句不会产生影响。因此,在优化SQL语句执行速度时,需要考虑创建索引的时机和...

    Oracle创建索引要做到三个适当.doc

    在Oracle数据库管理中,合理创建索引是一项至关重要的任务,它直接影响着数据库的查询性能和整体效率。然而,创建索引并非简单的操作,而是一项需要深入理解和精心规划的工作。正如文档标题“Oracle创建索引要做到三...

    SuperMap Objects Java 6R创建字段索引

    在关系型数据库中,索引是一种特殊的数据结构,用于快速查找和访问表中的特定记录。当我们在某个字段上创建索引时,数据库管理系统会构建一个指向该字段值的指针列表,这使得搜索该字段的值变得非常迅速。对于...

    Lucene.net高速创建索引

    描述中提到的“对SQL Server数据库表,用多线程,高速创建索引”,是指在构建Lucene.NET索引时,采用了多线程技术来提升性能。这种做法可以充分利用多核处理器的计算能力,将数据处理任务分散到多个线程中,从而加快...

    Access2000如何创建索引[收集].pdf

    在Access2000中,创建索引是提高数据库查询速度和数据管理效率的重要手段。索引允许快速定位和排序记录,特别是在处理大量数据时。本文将详细介绍如何在Access2000中创建单字段索引和多字段索引。 **创建单字段索引...

    SQL_server_创建索引的意义.pdf

    创建索引后的查询时间则被存储在`query_time_index`表中。 对比创建索引前后的查询时间,可以明显看出,索引极大地提高了查询效率。这是因为索引允许数据库引擎快速定位到满足条件的数据行,而无需扫描整张表。对于...

    MySQL下使用Inplace和Online方式创建索引的教程

    在线创建索引过程中,InnoDB使用Row Log记录数据修改,避免了全表锁定,使得原表在索引构建期间既能读也能写。当新索引构建完成后,通过重放Row Log中的记录来更新新索引,以保持数据的一致性。 InnoDB的Online Add...

    如何为在线的含有千万条记录的表建立索引-ITPUB[归类].pdf

    在IT领域,尤其是在数据库管理中,为大型在线系统创建索引是提高查询性能的关键步骤。本文将详细讨论如何为一个...在Oracle数据库中,这些策略的实施可以帮助我们高效地为千万级别的表创建索引,提升系统的整体效能。

    SuperMap Objects .NET 创建字段索引

    在数据库中,索引是一种数据结构,它能够快速定位到表中的特定记录。对于GIS数据,特别是在大型空间数据库中,对特定字段(如空间对象的属性信息)建立索引可以显著提升查询速度。例如,如果经常需要根据某地区的...

    数据库索引创建建议

    在实际应用中,需要考虑数据访问模式和表的设计特点来决定是否使用主键作为聚集索引。 **3.2 实践案例** 假设有一个销售表,包含大量的历史交易记录,其中包括`transaction_date`、`customer_id`、`product_id`等...

    (完整)小学教师家访记录表.pdf

    1. 数据库设计:家访记录表中的数据可以存储在数据库中,以便于教师和家长之间的信息交流和记录。数据库的设计可以包括表结构、数据类型、索引等方面的考虑。 在设计数据库时,需要考虑以下几点: * 表结构:可以...

    MYSQL数据库创建索引目录的方法和代码.pdf

    - `tbl_name`:要为哪个表创建索引。 - `index_col_name`:定义索引的列名。 - `(length)`:可选,用于指定索引长度,比如只对字符串的前几个字符建立索引。 - `[ASC | DESC]`:可选,定义排序顺序,默认是升序(ASC)...

    MySql示例6:创建索引.zip

    在这个MySQL示例6中,我们将探讨如何为数据库表创建索引,以及它们对数据库性能的影响。 首先,我们需要理解索引的基本概念。索引就像是书籍的目录,允许我们快速定位到所需的数据,而不是逐行扫描整个表。在MySQL...

    Oracle中创建表,创建序列,创建自增字段,添加注释, 添加记录,添加触发器,提交

    在创建表时,需要指定表的名称、字段名称、字段类型、主键、索引等信息。在上面的示例代码中,创建了一个名为 `Car` 的表,包含三个字段:`GUID`、`PhoneId` 和 `UserName`,其中 `GUID` 字段是主键。 序列...

Global site tag (gtag.js) - Google Analytics