`
hudeyong926
  • 浏览: 2032704 次
  • 来自: 武汉
社区版块
存档分类
最新评论

mysql分区

 
阅读更多

一，什么是数据库分区
前段时间写过一篇关于mysql分表的的文章，下面来说一下什么是数据库分区，以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的，默认放在/mysql/data下面（可以通过my.cnf中的datadir来查看），一张表主要对应着三个文件，一个是frm存放表结构的，一个是myd存放表数据的，一个是myi存表索引的。如果一张表的数据量太大的话，那么myd,myi就会变的很大，查找数据就会变的很慢，这个时候我们可以利用mysql的分区功能，在物理上将这一张表对应的三个文件，分割成许多个小块，这样呢，我们查找一条数据时，就不用全部查找了，只要知道这条数据在哪一块，然后在那一块找就行了。如果表的数据太大，可能一个磁盘放不下，这个时候，我们可以把数据分配到不同的磁盘里面去。


分区的二种方式
1，横向分区
什么是横向分区呢？就是横着来分区了，举例来说明一下，假如有100W条数据，分成十份，前10W条数据放到第一个分区，第二个10W条数据放到第二个分区，依此类推。也就是把表分成了十分，根用merge来分表，有点像哦。取出一条数据的时候，这条数据包含了表结构中的所有字段，也就是说横向分区，并没有改变表的结构。

ALTER TABLE `yl_hospital_url` PARTITION BY RANGE(ID) (
PARTITION `p0` VALUES LESS THAN (100000) , 
PARTITION `p1` VALUES LESS THAN (200000) , 
PARTITION `p2` VALUES LESS THAN (300000) , 
PARTITION `p3` VALUES LESS THAN (400000) , 
PARTITION `p4` VALUES LESS THAN (500000) , 
PARTITION `p5` VALUES LESS THAN (600000) , 
PARTITION `p6` VALUES LESS THAN (700000) ,
PARTITION `p6` VALUES LESS THAN (700000) , 
PARTITION `p7` VALUES LESS THAN (MAXVALUE) 
) ;

 分区前查询速度

 分区后查询速度


二，mysql的分区
我觉着吧，mysql的分区只有一种方式，只不过运用不同的算法，規则将数据分配到不同的区块中而已。
1，mysql5.1及以上支持分区功能
安装安装的时候，我们就可以查看一下

[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition
 === Partition Support ===
 Plugin Name:      partition
 Description:      MySQL Partitioning Support
 Supports build:   static
 Configurations:   max, max-no-ndb

 查看一下，如果发现有上面这个东西，说明他是支持分区的，默认是打开的。如果你已经安装过了mysql的话

mysql> show variables like "%part%";
+-------------------+-------+
| Variable_name     | Value |
+-------------------+-------+
| have_partitioning | YES   |
+-------------------+-------+
1 row in set (0.00 sec)

 查看一下变量，如果支持的话，会有上面的提示的。

2range分区
按照RANGE分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行

//创建range分区表
mysql> CREATE TABLE IF NOT EXISTS `user` (
 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID',
 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',
 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女',
 ->   PRIMARY KEY (`id`)
 -> ) ENGINE=MyISAM  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
 -> PARTITION BY RANGE (id) (
 ->     PARTITION p0 VALUES LESS THAN (3),
 ->     PARTITION p1 VALUES LESS THAN (6),
 ->     PARTITION p2 VALUES LESS THAN (9),
 ->     PARTITION p3 VALUES LESS THAN (12),
 ->     PARTITION p4 VALUES LESS THAN MAXVALUE
 -> );
Query OK, 0 rows affected (0.13 sec)

//插入一些数据
mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES ('tank', '0')
 -> ,('zhang',1),('ying',1),('张',1),('映',0),('test1',1),('tank2',1)
 -> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1)
 -> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1)
 -> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1);
Query OK, 25 rows affected (0.05 sec)
Records: 25  Duplicates: 0  Warnings: 0

//到存放数据库表文件的地方看一下，my.cnf里面有配置，datadir后面就是
[root@BlackGhost test]# ls |grep user |xargs du -sh
4.0K    user#P#p0.MYD
4.0K    user#P#p0.MYI
4.0K    user#P#p1.MYD
4.0K    user#P#p1.MYI
4.0K    user#P#p2.MYD
4.0K    user#P#p2.MYI
4.0K    user#P#p3.MYD
4.0K    user#P#p3.MYI
4.0K    user#P#p4.MYD
4.0K    user#P#p4.MYI
12K    user.frm
4.0K    user.par

//取出数据
mysql> select count(id) as count from user;
+-------+
| count |
+-------+
|    25 |
+-------+
1 row in set (0.00 sec)

//删除第四个分区
mysql> alter table user drop partition p4;
Query OK, 0 rows affected (0.11 sec)
Records: 0  Duplicates: 0  Warnings: 0

/**存放在分区里面的数据丢失了，第四个分区里面有14条数据，剩下的3个分区
只有11条数据，但是统计出来的文件大小都是4.0K，从这儿我们可以看出分区的
最小区块是4K
*/
mysql> select count(id) as count from user;
+-------+
| count |
+-------+
|    11 |
+-------+
1 row in set (0.00 sec)

//第四个区块已删除
[root@BlackGhost test]# ls |grep user |xargs du -sh
4.0K    user#P#p0.MYD
4.0K    user#P#p0.MYI
4.0K    user#P#p1.MYD
4.0K    user#P#p1.MYI
4.0K    user#P#p2.MYD
4.0K    user#P#p2.MYI
4.0K    user#P#p3.MYD
4.0K    user#P#p3.MYI
12K    user.frm
4.0K    user.par

/*可以对现有表进行分区,并且会按規则自动的将表中的数据分配相应的分区
中，这样就比较好了，可以省去很多事情，看下面的操作*/
mysql> alter table aa partition by RANGE(id)
 -> (PARTITION p1 VALUES less than (1),
 -> PARTITION p2 VALUES less than (5),
 -> PARTITION p3 VALUES less than MAXVALUE);
Query OK, 15 rows affected (0.21 sec)   //对15数据进行分区
Records: 15  Duplicates: 0  Warnings: 0

//总共有15条
mysql> select count(*) from aa;
+----------+
| count(*) |
+----------+
|       15 |
+----------+
1 row in set (0.00 sec)

//删除一个分区
mysql> alter table aa drop partition p2;
Query OK, 0 rows affected (0.30 sec)
Records: 0  Duplicates: 0  Warnings: 0

//只有11条了，说明对现有的表分区成功了
mysql> select count(*) from aa;
+----------+
| count(*) |
+----------+
|       11 |
+----------+
1 row in set (0.00 sec)

3，list分区

LIST分区中每个分区的定义和选择是基于某列的值从属于一个值列表集中的一个值，而RANGE分 区是从属于一个连续区间值的集合。

//这种方式失败
mysql> CREATE TABLE IF NOT EXISTS `list_part` (
 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户ID',
 ->   `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省',
 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',
 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女',
 ->   PRIMARY KEY (`id`)
 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
 -> PARTITION BY LIST (province_id) (
 ->     PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),
 ->     PARTITION p1 VALUES IN (9,10,11,12,16,21),
 ->     PARTITION p2 VALUES IN (13,14,15,19),
 ->     PARTITION p3 VALUES IN (17,18,20,22,23,24)
 -> );
ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function

//这种方式成功
mysql> CREATE TABLE IF NOT EXISTS `list_part` (
 ->   `id` int(11) NOT NULL  COMMENT '用户ID',
 ->   `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省',
 ->   `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名称',
 ->   `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0为男，1为女'
 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8
 -> PARTITION BY LIST (province_id) (
 ->     PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),
 ->     PARTITION p1 VALUES IN (9,10,11,12,16,21),
 ->     PARTITION p2 VALUES IN (13,14,15,19),
 ->     PARTITION p3 VALUES IN (17,18,20,22,23,24)
 -> );
Query OK, 0 rows affected (0.33 sec)

上面的这个创建list分区时，如果有主銉的话，分区时主键必须在其中，不然就会报错。如果我不用主键，分区就创建成功了，一般情况下，一个张表肯定会有一个主键，这算是一个分区的局限性吧。

如果对数据进行测试，请参考range分区的测试来操作

4，hash分区

HASH分区主要用来确保数据在预先确定数目的分区中平均分布，你所要做的只是基于将要被哈希的列值指定一个列值或表达式，以 及指定被分区的表将要被分割成的分区数量。

mysql> CREATE TABLE IF NOT EXISTS `hash_part` (
 ->   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '评论ID',
 ->   `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '评论',
 ->   `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',
 ->   PRIMARY KEY (`id`)
 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
 -> PARTITION BY HASH(id)
 -> PARTITIONS 3;
Query OK, 0 rows affected (0.06 sec)

测试请参考range分区的操作

5，key分区
按照KEY进行分区类似于按照HASH分区，除了HASH分区使用的用户定义的表达式，而KEY分区的 哈希函数是由MySQL 服务器提供。

mysql> CREATE TABLE IF NOT EXISTS `key_part` (
 ->   `news_id` int(11) NOT NULL  COMMENT '新闻ID',
 ->   `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',
 ->   `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',
 ->   `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '时间'
 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8
 -> PARTITION BY LINEAR KEY(YEAR(create_time))
 -> PARTITIONS 3;
Query OK, 0 rows affected (0.07 sec)

测试请参考range分区的操作

6，子分区

子分区是分区表中每个分区的再次分割，子分区既可以使用HASH希分区，也可以使用KEY分区。这 也被称为复合分区（composite partitioning ）。

1，如果一个分区中创建了子分区，其他分区也要有子分区

2，如果创建了了分区，每个分区中的子分区数必有相同

3，同一分区内的子分区，名字不相同，不同分区内的子分区名子可以相同（5.1.50不适用） 

mysql> CREATE TABLE IF NOT EXISTS `sub_part` (
 ->   `news_id` int(11) NOT NULL  COMMENT '新闻ID',
 ->   `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',
 ->   `u_id`  int(11) NOT NULL DEFAULT 0s COMMENT '来源IP',
 ->   `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '时间'
 -> ) ENGINE=INNODB  DEFAULT CHARSET=utf8
 -> PARTITION BY RANGE(YEAR(create_time))
 -> SUBPARTITION BY HASH(TO_DAYS(create_time))(
 -> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2),
 -> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good),
 -> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3)
 -> );
Query OK, 0 rows affected (0.07 sec)

官方网站说不同分区内的子分区可以有相同的名字，但是mysql5.1.50却不行会提示以下错误

ERROR 1517 (HY000): Duplicate partition name s1

7Columns分区

Columns分区是在MySQL 5.5引入的分区类型，引入Columns分区解决了MySQL 5.5版本之前RANGE分区和LIST分区只支持整数分区，从而导致需要额外的函数计算得到整数或者通过额外的转换表来转换为整数再分区的问题。 Columns分区可以细分为RANGE Columns分区和LIST Columns分区，RANGE Columns分区和LIST Columns分区都支持整数、日期时间、字符串三大数据类型。

应用场景：

商品销售的日报表，年报表等

每天分一张表,表名用年月日每张表分24个分区，每个小时的数据分1个区.

CREATE TABLE `year_log` (
  `id` int(11) DEFAULT NULL,
  `money` int(11) unsigned NOT NULL,
  `date` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE (year(date))
(
PARTITION p2007 VALUES LESS THAN (2008),
PARTITION p2008 VALUES LESS THAN (2009),
PARTITION p2009 VALUES LESS THAN MAXVALUE
);

CREATE TABLE `daily_log` (
`id` int(11) NOT NULL,
`sid` char(36) NOT NULL,
`sname` char(20) DEFAULT NULL,
`date` datetime NOT NULL,
PRIMARY KEY (`id`,`date`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
PARTITION BY RANGE COLUMNS(`date`)
(PARTITION p1 VALUES LESS THAN ('2000-01-02'),
PARTITION p2 VALUES LESS THAN ('2000-01-03'),
PARTITION p3 VALUES LESS THAN ('2000-01-04'),
PARTITION p4 VALUES LESS THAN ('2000-01-05'),
PARTITION p5 VALUES LESS THAN ('2000-01-06'),
PARTITION p6 VALUES LESS THAN ('2000-01-07'),
PARTITION p7 VALUES LESS THAN ('2000-01-08'),
PARTITION p367 VALUES LESS THAN (MAXVALUE));

三，分区管理

1，删除分区

mysql> alter table user drop partition p4;

 2，新增分区

//range添加新分区
mysql> alter table user add partition(partition p4 values less than MAXVALUE);
Query OK, 0 rows affected (0.06 sec)
Records: 0  Duplicates: 0  Warnings: 0

//list添加新分区
mysql> alter table list_part add partition(partition p4 values in (25,26,28));
Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

//hash重新分区
mysql> alter table hash_part add partition partitions 4;
Query OK, 0 rows affected (0.12 sec)
Records: 0  Duplicates: 0  Warnings: 0

//key重新分区
mysql> alter table key_part add partition partitions 4;
Query OK, 1 row affected (0.06 sec)    //有数据也会被重新分配
Records: 1  Duplicates: 0  Warnings: 0

//子分区添加新分区，虽然我没有指定子分区，但是系统会给子分区命名的
mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE);
Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> show create table sub1_part\G;
*************************** 1. row ***************************
 Table: sub1_part
Create Table: CREATE TABLE `sub1_part` (
 `news_id` int(11) NOT NULL COMMENT '新闻ID',
 `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新闻内容',
 `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '来源IP',
 `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '时间'
) ENGINE=InnoDB DEFAULT CHARSET=utf8
!50100 PARTITION BY RANGE (YEAR(create_time))
SUBPARTITION BY HASH (TO_DAYS(create_time))
(PARTITION p0 VALUES LESS THAN (1990)
 (SUBPARTITION s0 ENGINE = InnoDB,
 SUBPARTITION s1 ENGINE = InnoDB,
 SUBPARTITION s2 ENGINE = InnoDB),
 PARTITION p1 VALUES LESS THAN (2000)
 (SUBPARTITION s3 ENGINE = InnoDB,
 SUBPARTITION s4 ENGINE = InnoDB,
 SUBPARTITION good ENGINE = InnoDB),
 PARTITION p2 VALUES LESS THAN (3000)
 (SUBPARTITION tank0 ENGINE = InnoDB,
 SUBPARTITION tank1 ENGINE = InnoDB,
 SUBPARTITION tank3 ENGINE = InnoDB),
 PARTITION p3 VALUES LESS THAN MAXVALUE
 (SUBPARTITION p3sp0 ENGINE = InnoDB,    //子分区的名子是自动生成的
 SUBPARTITION p3sp1 ENGINE = InnoDB,
 SUBPARTITION p3sp2 ENGINE = InnoDB))
1 row in set (0.00 sec)

3，重新分区

//range重新分区
mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE);
Query OK, 11 rows affected (0.08 sec)
Records: 11  Duplicates: 0  Warnings: 0

//list重新分区
mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5));
Query OK, 0 rows affected (0.28 sec)
Records: 0  Duplicates: 0  Warnings: 0

//hash和key分区不能用REORGANIZE，官方网站说的很清楚
mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1

四，分区优点

1，分区可以分在多个磁盘，存储更大一点

2，根据查找条件，也就是where后面的条件，查找只查找相应的分区不用全部查找了

3，进行大数据搜索时可以进行并行处理。

4，跨多个磁盘来分散数据查询，来获得更大的查询吞吐量


 

  • 大小: 17.4 KB
  • 大小: 20.6 KB
分享到：
| mysql分表，分区的区别和联系
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    MySQL 分区

    MySQL分区是一种数据库优化技术，它将大型表分成更小、更易管理的部分，每个部分称为一个分区。这种技术有助于提高查询性能，特别是对于那些需要处理大量数据或执行复杂查询的应用程序。MySQL支持多种分区类型，包括...

    互联网公司为啥不使用mysql分区表

    "互联网公司为啥不使用mysql分区表" 在互联网公司中，mysql分区表是一个比较少用的技术，这是因为分区表存在一些缺陷和限制，使得互联网公司更多地选择自己分库分表来水平扩展数据库。 首先，分区表的设计需要考虑...

    MySQL分区表自动创建及删除存储过程

    MySQL分区表是一种优化大型数据表查询效率的技术，它将一个大表分成多个逻辑上相连但物理上独立的部分，每个部分称为一个分区。分区可以按照不同的策略进行，如范围、哈希、列表或复合分区。这样做有助于提高数据...

    mysql分区文档

    MySQL 分区是数据库管理系统中的一种优化策略，它将大型表的数据分布在不同的物理存储上，以提高查询性能和便于管理大量数据。分区的本质是将一张大表逻辑上分成多个部分，但用户在操作时仍然将其视为单个表。MySQL ...

    MySQL分区分表方案实践手册

    ### MySQL分区分表方案实践手册知识点详述 #### 一、MySQL分区简介 数据库分区是一项重要的物理数据库设计技术，主要用于优化数据库性能并简化数据管理。MySQL的分区主要包括两种形式：水平分区和垂直分区。 - **...

    mysql分区资源整理

    ### MySQL分区资源整理 #### 一、分区概念与优势 MySQL中的分区技术是数据库优化的重要手段之一，尤其适用于处理大规模数据集。通过分区，数据库能够将一个庞大的表拆分为若干个小部分，使得管理和操作变得更加...

    mysql分区.pdf

    MySQL分区是数据库管理系统MySQL中的一种数据存储管理技术，它允许用户将数据表拆分成多个较小的、更容易管理的片段。这些片段被称为分区。通过这种技术可以提高数据库的性能，便于维护和备份，并且可以对不同分区...

    mysql如何进行分区-mysql分区有哪些方法.docx

    1. **存储能力增强**：相比于单一的磁盘或文件系统分区，MySQL 分区可以存储更多数据。 2. **数据清理便捷**：可以更简单地删除不再需要或过时的数据。 3. **查询优化**：某些查询可以直接在特定分区上执行，减少...

    创建mysql表分区的方法

    【MySQL 表分区详解】 MySQL 表分区是一种高级的数据组织技术，它允许将大型表分成较小、更易管理和处理的部分。这种技术对于处理海量数据，尤其是超过亿级别的数据集非常有效，可以显著提升查询性能和数据管理效率...

    MySQL分区管理工具

    MySQL分区管理工具是一种优化数据库性能的技术，它将大型表分解为更小、更易管理的部分，以提高查询效率和数据管理的便利性。在MySQL中，分区主要基于表的数据，根据预定义的规则将数据分布到不同的物理部分。这样...

    zabbix_mysql分区1

    总的来说，Zabbix的MySQL分区优化是一个涉及数据库设计和管理的重要环节。通过合理地利用分区技术，可以有效应对大规模监控数据的挑战，保持Zabbix系统的高效运行。不过，务必根据你的实际情况进行调整，并考虑其他...

    MySQL分区实战

    #### 一、MySQL分区概述与应用场景 在当今互联网行业中，MySQL数据库作为最常用的关系型数据库之一，在数据管理方面扮演着极其重要的角色。随着数据量的不断增长，对数据库性能的要求也日益提高。为了提高查询效率...

    MySQL分区表：万字详解与实践指南

    ### MySQL分区表：万字详解与实践指南 #### 一、引言 在现代数据库管理中，随着数据量的不断增长，如何高效管理和查询数据成为了一个重要的课题。MySQL作为广泛使用的开源关系型数据库管理系统之一，提供了多种强大...

    MySQL分区技术在传统项目中的应用.pdf

    MySQL分区技术是一种将数据库中的表分成多个较小的、更易于管理的部分的策略，它通过将数据分布到不同的物理区域来提升数据库性能。这种技术在处理大量数据的传统项目中尤为重要，可以帮助改善数据库的扩展性、管理...

    MySQL分区分表的设计及实现-收藏备用.pdf

    ### MySQL分区分表的设计及实现 #### 一、引言 随着信息技术的飞速发展，数据量呈现爆炸式增长，海量数据的管理和处理成为了一项挑战。尤其在关系型数据库中，如MySQL这样的系统，当单个表的数据量达到一定规模后...

    MySQL分区和分表技术总结.docx

    MySQL 分区和分表技术总结 MySQL 分区和分表技术是数据库性能优化的重要手段，特别是在大型数据库系统中。以下是 MySQL 分区和分表技术的详细介绍： 什么是分表？ 分表是将一个大表按照一定的规则分解成多张具有...

Magicbox
Global site tag (gtag.js) - Google Analytics