在业务系统中,随着业务量的增长及业务数据的增加带来的数据量的急剧增长,影响到查询及数据更新的速度,因此影响到用户的感知。为提高响应速度,提高用户的感知,我们一般会将数据库按照一定的规则进行分区,甚至可以按照特定的规则进行分表。分区时物理上将数据存储在多个文件中【文件可以在不同的磁盘中】,逻辑上是一个表【 分区对用户透明,最终用户感觉不到分区的存在。】,而分表,不言而喻的就是将同类数据存于不同的表中,实际我们使用最多的是分区。
分区的优点
(1)与单个磁盘或文件系统分区相比,可以存储更多的数据【某些操作系统对于单个文件有大小限制】。
(2)很容易就能删除不用或者过时的数据【直接删除分区】。
(3)一些查询可以得到极大的优化【对分区对象的查询可以仅搜索自己关心的分区,提高检索速度。】。
(4)涉及到 SUM()/COUNT() 等聚合函数时,可以并行进行【各分区统计各分区的,最后合并】。
(5)均衡I/O 、IO吞吐量更大:可以把表的不同分区分配到不同的磁盘来平衡I/O改善性能,提高IO吞吐;。
(6)增强可用性:如果表的一个分区由于系统故障而不能使用,表的其余好的分区仍可以使用;
分区的创建及分区的分类
常用分区的类型
RANGE 分区:基于属于一个给定连续区间的列值,把多行分配给分区。
CREATE TABLE TF_USER( CID INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY NAME VARCHAR(30) NOT NULL DEFAULT '' PHONE VARCHAR(30) NOT NULL DEFAULT '')PARTITION BY RANGE (CID) ( PARTITION p0 VALUES LESS THAN (1000000) DATA DIRECTORY = '/data0/data' INDEX DIRECTORY = '/data0/idx' PARTITION p1 VALUES LESS THAN (2000000) DATA DIRECTORY = '/data1/data' INDEX DIRECTORY = '/data1/idx' PARTITION p2 VALUES LESS THAN (3000000) DATA DIRECTORY = '/data2/data' INDEX DIRECTORY = '/data2/idx' PARTITION p3 VALUES LESS THAN MAXVALUE DATA DIRECTORY = '/data3/data' INDEX DIRECTORY = '/data3/idx');
LIST 分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。
CREATE TABLE TF_USER( CID INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY NAME VARCHAR(30) NOT NULL DEFAULT '' PHONE VARCHAR(30) NOT NULL DEFAULT '')PARTITION BY LIST (CID) ( PARTITION p0 VALUES IN (0,1,2,3) DATA DIRECTORY = '/data0/data' INDEX DIRECTORY = '/data0/idx' PARTITION p1 VALUES IN (4,5,6,7) DATA DIRECTORY = '/data1/data' INDEX DIRECTORY = '/data1/idx' PARTITION p2 VALUES IN (8,9,10) DATA DIRECTORY = '/data2/data' INDEX DIRECTORY = '/data2/idx');
HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。
CREATE TABLE TF_USER( CID INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY NAME VARCHAR(30) NOT NULL DEFAULT '' PHONE VARCHAR(30) NOT NULL DEFAULT '')PARTITION BY HASH (CID) ( PARTITION p1 DATA DIRECTORY = '/data0/data' INDEX DIRECTORY = '/data0/idx' PARTITION p2 DATA DIRECTORY = '/data1/data' INDEX DIRECTORY = '/data1/idx' PARTITION p3 DATA DIRECTORY = '/data2/data' INDEX DIRECTORY = '/data2/idx');
组合分区:由以上两种组合
分区管理
(1)删除分区:
ALERT TABLE TF_USER DROP PARTITION p0;
(2)重建合并分区:
将原来的 p0,p1 分区合并起来,放到新的 p0 分区中
RANGE 分区重建
ALTER TABLE TF_USER REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES LESS THAN (4000000));
LIST 分区重
ALTER TABLE TF_USER REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES IN(0,1,2,3,4,5,6,7));
(3):新增分区
RANGE 分区新增
ALTER TABLE TF_USER ADD PARTITION (PARTITION p4 VALUES IN (11,12,13,14)DATA DIRECTORY = '/data3/data'INDEX DIRECTORY = '/data3/idx');
什么时候使用分区表
1、表的大小超过2GB。
2、表中包含历史数据,新的数据被增加都新的分区中。
相关推荐
- **本地索引分区** (Local Index Partitioning):与分区表相关联的索引也是分区的,每个分区对应表的一个分区。 6. **分区的优势**: - **查询性能**:通过直接定位到特定分区,减少了扫描的数据量,从而加快...
"数据库表分区工具1.2"正是为了解决手动创建分区表的复杂性而设计的,它提供了用户友好的界面和自动化流程,使得建表过程更为便捷。 在传统的数据库操作中,创建分区表需要编写复杂的SQL语句,这不仅要求DBA或开发...
DB2和Oracle数据库表分区方法和数据库备份与恢复 DB2数据库表分区是指将大型表拆分为多个小的、独立的部分,每个部分称为一个分区。分区的目的是为了提高表的可管理性、可扩展性和查询性能。DB2数据库提供了 RANGE ...
- 在分区表的上下文中,触发器可能用于在数据插入或更新时自动调整分区,确保数据分布合理。 7. **维护与备份**: - 分区使得大型表的备份和恢复更加高效,因为可以分别处理每个分区,而非整个表。 - 数据迁移和...
例如,根据日期字段`s_time`创建一个范围分区表: ```sql CREATE TABLE t_par (s_time DATE, id NUMBER) PARTITION BY RANGE (s_time) ( PARTITION p_max VALUES LESS THAN (MAXVALUE) TABLESPACE users ); ``` 接...
为了创建分区表,先将原始表"workitem"重命名为"workitem_2023"。这一步是临时存储原始数据,确保新分区表创建后可以恢复数据。 4. **创建分区表空间**: 分区表需要特定的表空间来存储各个分区。使用`db2 -tvf ...
根据给定的信息,我们可以推断出这是一篇与数据库中的“表分区”技术相关的文章。由于原文中的部分内容难以理解,我们将主要依据标题、描述和标签来进行详细的解释。 ### 表分区资料 #### 一、什么是表分区? 表...
数据库优化的一部分详解 select count(*) from dcsj_time subpartition(dcsj_time_2012_04) select count(*) from dcsj_time partition(dcsj_time_2012) select * from user_tab_partitions select * from user_...
数据分析
根据提供的标题、描述、标签及部分内容,我们可以了解到这项工作主要关注的是如何将Oracle数据库中的分区表数据定期迁移到另一个数据库,并且对整个过程进行了详细的技术规划。以下是对这些信息进行整理后得到的关键...
【DB2数据库表分区与迁移】是数据库管理中的重要概念,尤其在大数据处理和性能优化时显得至关重要。本文主要围绕DB2数据库的表分区和迁移进行深入探讨。 1. **表分区**:表分区是一种组织大量数据的方法,通过将...
PostgreSQL表分区和子表及删除所有的数据库表 最近需求要求统计DNS近7天每天的解析情况。数据量相对大,所以我这边对表进行分区。 对每天的数据进行分区...所以我这边会对第8天的数据删除,删除第8天的分区表即可。
5. **插入数据到分区表**:最后,向分区表中插入数据,验证分区是否按照预期工作。 ```sql INSERT INTO sale VALUES ('张三', '2014-01-01'); INSERT INTO sale VALUES ('陈', '2014-02-01'); INSERT INTO ...
总之,Oracle表分区是一项强大的数据库管理技术,它在处理大规模数据时提供了许多优势,但也需要数据库管理员掌握相关的知识和技能来有效管理分区表。随着数据量的不断增长,合理利用分区策略可以帮助企业节省维护...
本篇文章主要介绍了如何在ClickHouse中查看数据库容量、表的指标、表分区以及数据大小等关键信息。 一、查看数据库容量 要查看ClickHouse数据库的总容量,可以查询`system.parts`系统表。以下查询返回每个表的总行...
本文将详细介绍通过优化数据库结构来提高数据库性能的方法,包括分离用户数据库与系统数据库、创建数据库表分区(垂直分表和水平分表)以及合理部署数据库对象等策略。 #### 二、分离用户数据库与系统数据库 在...