MySQL基础----大幅度提高性能方案,分区表

    下面就笔者工作中遇到的时间问题,模拟一下情况对大家进行介绍.
    工作中仍然是海量数据出现的情况.每年大概会有几亿条记录.而且数据的时效性比较强.但历史数据仍然要求保留.这个时候经过分析和研究,最终决定通过时间字段进行分区.下面是分区表的创建代码.读者门在插入了不同年份时间段以后，可以时间字段为条件进行查询，可以看到数据库扫描过的区段.

CREATE TABLE part_data
      (c1 int default NULL,
  c2 varchar(30) default NULL,
  c3 date default NULL)
  partition by range (to_days(c3))
 (PARTITION p0 VALUES LESS THAN (to_days('1995-01-01')),
 PARTITION p1 VALUES LESS THAN (to_days('1996-01-01')) ,
 PARTITION p2 VALUES LESS THAN (to_days('1997-01-01')) ,
 PARTITION p3 VALUES LESS THAN (to_days('1998-01-01')) ,
 PARTITION p4 VALUES LESS THAN (to_days('1999-01-01')) ,
 PARTITION p5 VALUES LESS THAN (to_days('2000-01-01')) ,
 PARTITION p6 VALUES LESS THAN (to_days('2001-01-01')) ,
 PARTITION p7 VALUES LESS THAN (to_days('2002-01-01')) ,
 PARTITION p8 VALUES LESS THAN (to_days('2003-01-01')) ,
 PARTITION p9 VALUES LESS THAN (to_days('2004-01-01')) ,
 PARTITION p10 VALUES LESS THAN (to_days('2010-01-01')),
 PARTITION p11 VALUES LESS THAN MAXVALUE );

分区查询,可以查看扫描过的区段.当然要加上where子句,以c3时间为条件进行检索.若不使用时间字段，分区将失去作用.

explain partitions select * from part_data\G

评论

7 楼 finallygo 2011-01-07  

85977328 写道

分表的时候，一张表的数据量一般在3000-5000万条数据比较合理

3000-5000万?你确定mysql可以承受这么大的数据量而不会影响查询,连接和统计的效率?

6 楼 85977328 2011-01-06  

分表的时候，一张表的数据量一般在3000-5000万条数据比较合理

5 楼 finallygo 2011-01-06  

还有就是分页的时候效率也面临了很大的挑战
因为我是一天分在一个表里,所以如果客户在页面上选择了好几天的数据,而是页面上只会显示前几十条,也就是说我还必须把这些表先union了再limit,而不像之前一张表,加一个where语句limit就可以了,这个性能问题要怎么解决呢?

4 楼 finallygo 2011-01-06  

你说的是分不同的表吗?我现在的项目因为要进行大数据量的日志处理,所以我现在分成了多个表(按天为单位),但是现在的问题就是如果要统计查询的话很麻烦,必须要把一个一个表的union起来,而且再加上inner join,left join之类的操作之后,效率更是难以忍受了

3 楼 85977328 2011-01-05  

应用程序分区,可以说是万能的分区方案了。与数据库无关.只是看应用程序那边的DAO的处理方式

2 楼 85977328 2011-01-05  

可以通过应用程序手工分区
比如一年一个表,在增，删,查，改的时候，自动去寻找对应的表

1 楼 finallygo 2011-01-05  

这个是5.1以上的版本才支持的吧,如果是5.0版本要解决类似问题怎么办呢?