`
望月怀远
  • 浏览: 57798 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

oracle数据分表使用实例

阅读更多

文章转自:http://www.cnblogs.com/liupeizhi/archive/2011/03/01/1967714.html

 

使用分区的优点:

  1、增强可用性:如果表的某个分区出现故障,表在其他分区的数据仍然可用;

  2、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可;

  3、均衡I/O:可以把不同的分区映射到磁盘以平衡I/O,改善整个系统性能;

  4、改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索速度。

  Oracle 数据库教程 提供对表或索引的分区方法有三种:

  1、范围分区

  2、Hash分区(散列分区)

  3、复合分区

  下面将以实例的方式分别对这三种分区方法来说明分区表的使用。为了测试 方便,我们先建三个表空间。

  create tablespace dinya_space01

  datafile '/test/demo/oracle/demodata/dinya01.dnf' size 50M

  create tablespace dinya_space02

  datafile '/test/demo/oracle/demodata/dinya02.dnf' size 50M

  create tablespace dinya_space03

  datafile '/test/demo/oracle/demodata/dinya03.dnf' size 50M

  1分区表的创建:

  1.1范围分区

  范围分区就是对数据表中的某个值的范围进行分区,根据某个值的范围,决定将该数据存储 在哪个分区上。如根据序号分区,根据业务记录的创建日期进行分区等。

  需求描述:有一个物料交易表,表名:material_transactions。该表将来可能有千万级的数据记录数。要求在建该表的时候使用 分区表。这时候我们可以使用序号分区三个区,每个区中预计存储三千万的数据,也可以使用日期分区,如每五年的数据存储在一个分区上。

  根据交易记录的序号分区建表:

  SQL> create table dinya_test

  2  (

  3 transaction_id number primary key,

  4 item_id number(8) not null,

  5 item_description varchar2(300),

  6 transaction_date date  not null

  7  )

  8  partition by range (transaction_id)

  9  (

  10 partition part_01 values less than(30000000) tablespace dinya_space01,

  11 partition part_02 values less than(60000000) tablespace dinya_space02,

  12 partition part_03 values less than(maxvalue) tablespace dinya_space03

  13  );

  Table created.

  SQL>

  建表成功,根据交易的序号,交易ID在三千万以下的记录将存储在第一个表空间dinya_space01中,分区名为:par_01,在三千万 到六千万之间的记录存储在第二个表空间:dinya_space02中,分区名为:par_02,而交易ID在六千万以上的记录存储在第三个表空间 dinya_space03中,分区名为par_03.

  根据交易日期分区建表:

  SQL> create table dinya_test

  2  (

  3 transaction_id number primary key,

  4 item_id number(8) not null,

  5 item_description varchar2(300),

  6 transaction_date date not null

  7  )

  8  partition by range (transaction_date)

  9  (

  10  partition part_01 values less than(to_date('2006-01-01','yyyy-mm-dd')) tablespace dinya_space01,

  11  partition part_02 values less than(to_date('2010-01-01','yyyy-mm-dd')) tablespace dinya_space02,

  12  partition part_03 values less than(maxvalue) tablespace dinya_space03

  13  );

  Table created.

  SQL>

  这样我们就分别建了以交易序号和交易日期来分区的分区表。每次插入数据的时候,系统将根据指定的字段的值来自动将记录存储到制定的分区(表空间)中。

  当然,我们还可以根据需求,使用两个字段的范围分布来分区,如partition by range ( transaction_id ,transaction_date),分区条件中的值也做相应的改变,请读者自行测试

  1.2Hash分区(散列分区)

  散列分区为通过指定分区编号来均匀分布数据的一种分区类型,因为通过在I/O设备上进行散列分区,使得这些分区大小一致。如将物料交易表的数据根据交易ID散列地存放在指定的三个表空间中:

  SQL> create table dinya_test

  2  (

  3 transaction_id number primary key,

  4 item_id number(8) not null,

  5 item_description varchar2(300),

  6 transaction_date date

  7  )

  8  partition by hash(transaction_id)

  9  (

  10 partition part_01 tablespace dinya_space01,

  11 partition part_02 tablespace dinya_space02,

  12 partition part_03 tablespace dinya_space03

  13  );

  Table created.

  SQL>

  建表成功,此时插入数据,系统将按transaction_id将记录散列地插入三个分区中,这里也就是三个不同的表空间中。
  
  
   1.3   复合分区

  有时候我们需要根据范围分区后,每个分区内的数据再散列地分布在几个表空间中,这样我们就要使用复合分区。复合分区是先使用范围分区,然后在每 个分区内再使用散列分区的一种分区方法,如将物料交易的记录按时间分区,然后每个分区中的数据分三个子分区,将数据散列地存储在三个指定的表空间中:

  SQL> create table dinya_test

  2  (

  3 transaction_id number primary key,

  4 item_id number(8) not null,

  5 item_description varchar2(300),

  6 transaction_date date

  7  )

  8  partition by range(transaction_date)subpartition by hash(transaction_id)

  9 subpartitions 3 store in (dinya_space01,dinya_space02,dinya_space03)

  10  (

  11 partition part_01 values less than(to_date('2006-01-01','yyyy-mm-dd')),

  12 partition part_02 values less than(to_date('2010-01-01','yyyy-mm-dd')),

  13 partition part_03 values less than(maxvalue)

  14  );

  Table created.

  SQL>

  该例中,先是根据交易日期进行范围分区,然后根据交易的ID将记录散列地存储在三个表空间中。

  2分区表操作

  以上了解了三种分区表的建表方法,下面将使用实际的数据并针对按日期的范围分区来测试分区表的数据记录的操作。

  2.1插入记录:

  SQL> insert into dinya_test values(1,12,'BOOKS',sysdate);

  1 row created.

  SQL> insert into dinya_test values(2,12, 'BOOKS',sysdate+30);

  1 row created.

  SQL> insert into dinya_test values(3,12, 'BOOKS',to_date('2006-05-30','yyyy-mm-dd'));

  1 row created.

  SQL> insert into dinya_test values(4,12, 'BOOKS',to_date('2007-06-23','yyyy-mm-dd'));

  1 row created.SQL> insert into dinya_test values(5,12, 'BOOKS',to_date('2011-02-26','yyyy-mm-dd'));

  1 row created.

  SQL> insert into dinya_test values(6,12, 'BOOKS',to_date('2011-04-30','yyyy-mm-dd'));

  1 row created.

  SQL> commit;

  Commit complete.

  SQL>

  按上面的建表结果,2006年前的数据将存储在第一个分区part_01上,而2006年到2010年的交易数据将存储在第二个分区part_02上,2010年以后的记录存储在第三个分区part_03上。

  2.2查询分区表记录:

  SQL> select * from dinya_test partition(part_01);

  TRANSACTION_IDITEM_ID  ITEM_DESCRIPTION  TRANSACTION_DATE

  --------------------------------------------------------------------------------

  112  BOOKS  2005-1-14 14:19:

  212  BOOKS  2005-2-13 14:19:

  SQL>

  SQL> select * from dinya_test partition(part_02);

  TRANSACTION_IDITEM_ID ITEM_DESCRIPTION  TRANSACTION_DATE

  --------------------------------------------------------------------------------

  3 12  BOOKS   2006-5-30

  4 12  BOOKS   2007-6-23

  SQL>

  SQL> select * from dinya_test partition(part_03);

  TRANSACTION_IDITEM_IDITEM_DESCRIPTION TRANSACTION_DATE

  --------------------------------------------------------------------------------

  5 12BOOKS  2011-2-26

  6 12BOOKS  2011-4-30

  SQL>

  从查询的结果可以看出,插入的数据已经根据交易时间范围存储在不同的分区中。这里是指定了分区的查询,当然也可以不指定分区,直接执行select * from dinya_test查询全部记录。在也检索的数据量很大的时候,指定分区会大大提高检索速度。

  2.3更新分区表的记录:

  SQL> update dinya_test partition(part_01) t set t.item_description='DESK' where t.transaction_id=1;

  1 row updated.

  SQL> commit;

  Commit complete.

  SQL>

  这里将第一个分区中的交易ID=1的记录中的item_description字段更新为“DESK”,可以看到已经成功更新了一条记录。但是当更新的时候指定了分区,而根据查询的记录不在该分区中时,将不会更新数据,请看下面的例子:

  SQL> update dinya_test partition(part_01) t set t.item_description='DESK' where t.transaction_id=6;

  0 rows updated.

  SQL> commit;

  Commit complete.

  SQL>

  指定了在第一个分区中更新记录,但是条件中限制交易ID为6,而查询全表,交易ID为6的记录在第三个分区中,这样该条语句将不会更新记录。

  2.4删除分区表记录:

  SQL> delete from dinya_test partition(part_02) t where t.transaction_id=4;

  1 row deleted.

  SQL> commit;

  Commit complete.

  SQL>

  上面例子删除了第二个分区part_02中的交易记录ID为4的一条记录,和更新数据相同,如果指定了分区,而条件中的数据又不在该分区中时,将不会删除任何数据。

  3分区表索引的使用:

  分区表和一般表一样可以建立索引,分区表可以创建局部索引和全局索引。当分区中出现许多事务并且要保证所有分区中的数据记录的唯一性时采用全局索引。

  3.1局部索引分区的建立:

  SQL> create index dinya_idx_t on dinya_test(item_id)

  2  local

  3  (4partition idx_1 tablespace dinya_space01,

  5partition idx_2 tablespace dinya_space02,

  6partition idx_3 tablespace dinya_space03

  7  );

  Index created.

  SQL>

  看查询的执行计划,从下面的执行计划可以看出,系统已经使用了索引:

  SQL> select * from dinya_test partition(part_01) t where t.item_id=12;

  Execution Plan

  ----------------------------------------------------------

  0 SELECT STATEMENT Optimizer=CHOOSE (Cost=2 Card=1 Bytes=187)

  10   TABLE ACCESS (BY LOCAL INDEX ROWID) OF 'DINYA_TEST' (Cost=

  2 Card=1 Bytes=187)

  21INDEX (RANGE SCAN) OF 'DINYA_IDX_T' (NON-UNIQUE) (Cost=1

  Card=1)

  Statistics

  ----------------------------------------------------------

  0  recursive calls

  0  db block gets

  4  consistent gets

  0  physical reads

  0  redo size

  334  bytes sent via SQL*Net to client

  309  bytes received via SQL*Net from client

  2  SQL*Net roundtrips教程 to/from client

  1  sorts (memory)

  0  sorts (disk)

  2  rows processed

  SQL>
  
   3.2全局索引分区的建立。

  全局索引建立时global 子句允许指定索引的范围值,这个范围值为索引字段的范围值:

  SQL> create index dinya_idx_t on dinya_test(item_id)

  2  global partition by range(item_id)

  3  (

  4partition idx_1 values less than (1000) tablespace dinya_space01,

  5partition idx_2 values less than (10000) tablespace dinya_space02,

  6partition idx_3 values less than (maxvalue) tablespace dinya_space03

  7  );

  Index created.

  SQL>

  本例中对表的item_id字段建立索引分区,当然也可以不指定索引分区名直接对整个表建立索引,如:

  SQL> create index dinya_idx_t on dinya_test(item_id);

  Index created.

  SQL>

  同样的,对全局索引根据执行计划可以看出索引已经可以使用:

  SQL> select * from dinya_test t where t.item_id=12;

  Execution Plan

  ----------------------------------------------------------

  0 SELECT STATEMENT Optimizer=CHOOSE (Cost=2 Card=3 Bytes=561)

  10   TABLE ACCESS (BY GLOBAL INDEX ROWID) OF 'DINYA_TEST' (Cost

  =2 Card=3 Bytes=561)

  21INDEX (RANGE SCAN) OF 'DINYA_IDX_T' (NON-UNIQUE) (Cost=1

  Card=3)

  Statistics

  ----------------------------------------------------------

  5  recursive calls

  0  db block gets

  10  consistent gets

  0  physical reads

  0  redo size

  420  bytes sent via SQL*Net to client

  309  bytes received via SQL*Net from client

  2  SQL*Net roundtrips to/from client

  3  sorts (memory)

  0  sorts (disk)

  5  rows processed

  SQL>

  4分区表的维护:

  了解了分区表的建立、索引的建立、表和索引的使用后,在应用的还要经常对分区进行维护和管理。日常维护和管理的内容包括:增加一个分区,合并一个分区及删除分区等等。下面以范围分区为例说明增加、合并、删除分区的一般操作:

  4.1增加一个分区:

  SQL> alter table dinya_test

  2  add partition part_04 values less than(to_date('2012-01-01','yyyy-mm-dd')) tablespace dinya_spa

  ce03;

  Table altered.

  SQL>

  增加一个分区的时候,增加的分区的条件必须大于现有分区的最大值,否则系统将提示ORA-14074 partition bound must collate higher than that of the last partition 错误。

  4.2合并一个分区:

  SQL> alter table dinya_test merge partitions part_01,part_02 into partition part_02;

  Table altered.

  SQL>

  在本例中将原有的表的part_01分区和part_02分区进行了合并,合并后的分区为part_02,如果在合并的时候把合并后的分区定为 part_01的时候,系统将提示ORA-14275 cannot reuse lower-bound partition as resulting partition 错误。

  4.3删除分区:

  SQL> alter table dinya_test drop partition part_01;

  Table altered.

  SQL>

  删除分区表的一个分区后,查询该表的数据时显示,该分区中的数据已全部丢失,所以执行删除分区动作时要慎重,确保先备份数据后再执行,或将分区合并。

  5总结:

  需要说明的是,本文在举例说名分区表事务操作的时候,都指定了分区,因为指定了分区,系统在执行的时候则只操作该分区的记录,提高了数据处理的 速度。不要指定分区直接操作数据也是可以的。在分区表上建索引及多索引的使用和非分区表一样。此外,因为在维护分区的时候可能对分区的索引会产生一定的影 响,可能需要在维护之后重建索引,相关内容请参考分区表索引部分的文档。

分享到:
评论

相关推荐

    oracle数据库表按年分区脚本实战例子

    在Oracle数据库中,分区是一种强大的数据管理技术,它允许我们将大型表分割成更小、更易管理和查询的部分,称为分区。这种技术对于处理大量数据的企业级应用尤其有用,因为它可以提高查询性能,优化存储,并简化数据...

    ORACLE表自动按月分区步骤

    本文将以具体的实例——报单表`USER_ORDER`为例,详细介绍如何实现Oracle表的自动按月分区,并创建相应的本地索引。 #### 二、准备工作 在开始分区之前,需要先做一些必要的准备工作,确保数据的安全性以及后续操作...

    oracle读写分离(中间键Mycat)

    Oracle数据库的读写分离是一种优化策略,用于提升大型系统中数据处理能力,通过将读操作与写操作分离到不同的数据库实例上,实现高并发场景下的性能优化。在本配置文档中,我们将关注如何利用Mycat中间键实现Oracle ...

    MySQL分库分表.doc

    - **数据库集群支持**:可作为MySQL的Proxy,支持MySQL集群,也能模拟为Oracle、DB2、SQL Server等数据库使用。 - **高可用性**:支持Galera for MySQL集群,提供自动故障切换功能。 - **读写分离**:支持多种...

    sharding-jdbc之——分库分表实例完整源码.zip

    标题"sharding-jdbc之——分库分表实例完整源码.zip"提到了"sharding-jdbc",这是一个用于Java的分布式数据库中间件,它提供了分库分表的功能,帮助解决大数据量下的性能瓶颈问题。"分库分表"是将一个大表的数据分散...

    利用kettle自动创建oracle表分区

    使用Kettle可以自动创建Oracle表分区,从而提高数据管理效率和查询效率。 在创建Oracle表分区之前,需要先创建一个分区表实例。创建分区表实例的SQL语句如下: ``` create table DE_TEST( name_tag varchar2(10), ...

    Sharding-JDBC使用案例-分库分表

    3. **创建数据源**:配置多个数据源,每个数据源对应一个数据库实例。 4. **创建ShardingRule**:基于配置的分片规则创建ShardingRule对象。 5. **构建ShardingDataSource**:使用ShardingDataSourceFactory创建...

    Oracle学习课件

    理解这些存储结构有助于优化数据库性能,例如合理分配表空间,使用索引来加速查询,以及通过分区和分表策略来处理大数据量。 另外,备份与恢复是数据库管理中的重要环节。Oracle提供RMAN(Recovery Manager)工具...

    ORACLE中对大数据量表的处理方法

    例如,本年度数据的访问频率较高,而对于过年的数据,在完成年度结算后则主要供查询使用。如何有效地管理和维护这些大数据量表,提高应用系统的性能并简化数据管理,成为了一个亟待解决的问题。 #### 二、解决策略 ...

    Oracle Performance Tuning and Optimization

    5. **数据库架构设计**:合理的设计模式,如分库、分表、分区,以及使用物化视图和 materialized join,可以分散负载,提高并发处理能力。 6. **监控与诊断工具**:如Oracle的Automatic Workload Repository (AWR) ...

    Sharding-JDBC教程:Spring Boot整合Sharding-JDBC实现分库分表+读写分离.docx

    1. 数据库分库分表:Sharding-JDBC可以将一个大型数据库拆分成多个小型数据库,每个数据库都包含所有数据的一部分。 2. 读写分离:Sharding-JDBC可以将读操作和写操作分离到不同的数据库,减少数据库的压力和提高...

    Oracle技术常见问题

    - **解决方案**:遵循第三范式,使用外键约束保证数据完整性,适当考虑分库分表。 以上问题只是Oracle技术中的一小部分,实际操作中可能会遇到更多复杂情况。不断学习和实践是解决Oracle问题的关键,同时,充分...

    ORACLE中对大数据量表的处理方法.pdf

    在Oracle数据库中,面对大数据量表的挑战,有多种处理策略可以提高系统性能并简化数据管理。本文主要探讨两种常用的方法:分区处理和分表处理。 1. 分区处理 分区处理是Oracle数据库中一种非常有效的方法,它将...

    数据库面试题包括Oracle和mysql

    7. **数据库架构**:理解Oracle的体系结构,包括实例、数据库、表空间、数据块等概念。 8. **安全性**:知道如何创建和管理用户权限,理解角色和权限的概念,以及如何设置数据库审计。 接下来,MySQL是一个开源、...

    Mycat 数据库分库分表中间件.pdf

    为了解决这一问题,Mycat应运而生,它是一款开源的、基于Java开发的数据库中间件,专门用于实现数据库的分库分表,从而提高系统的并发处理能力和数据存储能力。 Mycat的核心功能是将一个大表逻辑上拆分为多个小表,...

    java 多数据源

    1. **配置数据源**:创建两个或更多的DataSource实例,通常使用Apache的DBCP或C3P0等连接池组件。每个数据源对应一个数据库连接信息,如URL、用户名、密码等。 2. **事务管理器配置**:根据实际情况选择合适的事务...

    Oracle数据库日常维护与优化的思考.pdf

    Oracle数据库是全球广泛使用的大型关系型数据库管理系统,由甲骨文公司开发,以其高效能、高可用性和安全性著称。本文将深入探讨Oracle数据库的日常维护工作和优化策略。 一、Oracle数据库日常维护的主要内容 1. *...

    oracle性能优化

    在Oracle中,索引可以显著加速数据检索。优化SQL语句时,应考虑创建合适的索引,如单列索引、复合索引、唯一索引、函数索引等。此外,避免全表扫描,利用WHERE子句有效利用索引,以及理解索引选择性和成本基数也是...

    Oracle面试题集锦 hmtl格式,大量题带答案

    Oracle数据库是全球广泛使用的大型关系型数据库管理系统,其在企业级应用中占据着核心地位。这份"Oracle面试题集锦"涵盖了丰富的知识点,对于准备Oracle相关的面试或是提升自身的数据库技能非常有帮助。以下是对这些...

Global site tag (gtag.js) - Google Analytics