MySQL基础----数据重复判断

    本人工作中的实际应用.在采集数据的时候，要求数据采集以后，不能重复.同时也要求有多个实例同时运转，保证数据采集的连续性.因此总结了一下,做成了如下的小试验.核心代码如下:
表结构:只有3个字段
id,name,password

CREATE TABLE `tt` (
  `Id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `password` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

sql语句
1)推荐

insert ignore into tt(name,password) values('phl','123')

2)不推荐，因为insert的时候select，会锁定select的表

insert into tt(name,password) select 'phl','123' from dual where not exists(select * from tt where name='phl' and password='123')

这个SQL语句的含义是，如果插入的数据 name='phl',password='123'不存在,则执行插入;

补充:
方法1里面，之所以没有过滤。是因为没有建立name与password的联合主建;

评论

14 楼 gonglil 2011-01-20  

但是我执行第一个方法就是insert ignore into tt(name,password) values('phl','123') 时候并未过滤啊，第二个方法是正常的。

13 楼 85977328 2011-01-06  

如果你是在日志方面应用，那可以针对时间字段，进行分区，这样他判断的时候，性能不会降低

12 楼 finallygo 2011-01-06  

85977328 写道

对的。否则没办法根据部分字段进行重复判断

但是这样是不是对效率产生比较大的影响了?因为我现在需要录入大量的日志信息,如果这样将索引,是不是在数据量大之后,插入的速度会受到很大的影响?因为我觉得既然是自己制定了惟一约束,那在插入每条记录的时候都需要检查一下这个记录是否在数据库中存在的吧

11 楼 85977328 2011-01-05  

对的。否则没办法根据部分字段进行重复判断

10 楼 finallygo 2011-01-05  

85977328 写道

finallygo 写道

如果我的语句是insert ignore into tt(name,password,update_dt) values('phl','123',now())
这样的话,它能过滤重复吗?

可以,是根据你的unique索引来决定是否过滤的

如果这样的话
你的建表语句中还需要添加
ALTER TABLE `tt`
ADD UNIQUE INDEX (`name`, `password`);才对吧

9 楼 85977328 2010-12-31  

finallygo 写道

如果我的语句是insert ignore into tt(name,password,update_dt) values('phl','123',now())
这样的话,它能过滤重复吗?

可以,是根据你的unique索引来决定是否过滤的

8 楼 finallygo 2010-12-31  

如果我的语句是insert ignore into tt(name,password,update_dt) values('phl','123',now())
这样的话,它能过滤重复吗?

7 楼 85977328 2010-12-28  

shangtang004 写道

select 'phl','123' from dual

mysql 中有dual吗，
这不是oracle的吗

mysql里当然有dual了

6 楼 85977328 2010-12-28  

show variables like '%char%';

horseroad 写道

再请教个问题，我下载了这两天刚发布的5.5安装了之后，用 show variables like '%char%';查看字符集，结果发现都是拉丁，我本来设置的是utf8,不明白是怎么一回事。
具体结果：
| character_set_client     | latin1
     |
| character_set_connection | latin1
     |
| character_set_database   | latin1
     |
| character_set_filesystem | binary
     |
| character_set_results    | latin1
     |
| character_set_server     | latin1
     |
| character_set_system     | utf8

你用实例设置向导，选择字符编码的时候,选UTF8就可以了
或者在my.ini里面，把上述的相关内容，设置成utf8也可以.

5 楼 horseroad 2010-12-27  

再请教个问题，我下载了这两天刚发布的5.5安装了之后，用 show variables like '%char%';查看字符集，结果发现都是拉丁，我本来设置的是utf8,不明白是怎么一回事。
具体结果：
| character_set_client     | latin1
     |
| character_set_connection | latin1
     |
| character_set_database   | latin1
     |
| character_set_filesystem | binary
     |
| character_set_results    | latin1
     |
| character_set_server     | latin1
     |
| character_set_system     | utf8

4 楼 85977328 2010-12-27  

horseroad 写道

insert ignore into tt(name,password) values('phl','123') 
这句没看太懂，ignore是什么用法？mysql专有的？
mysql菜鸟不好意思

对,MYSQL专有的.效率非常高

3 楼 horseroad 2010-12-27  

insert ignore into tt(name,password) values('phl','123') 
这句没看太懂，ignore是什么用法？mysql专有的？
mysql菜鸟不好意思

2 楼 85977328 2010-08-12  

shangtang004 写道

select 'phl','123' from dual

mysql 中有dual吗，
这不是oracle的吗

有的，这个代码就是我项目中使用的

1 楼 shangtang004 2010-08-12  

select 'phl','123' from dual

mysql 中有dual吗，
这不是oracle的吗