Access 数据 导入mysql

刚完成了一件事，虽然不难，觉得挺好玩，在这里写写。。。

 

从Access中提取若干信息，导入到mysql中。

 

嗯，多简单的事呀。。。不过是SQL语句的导入导出嘛。。。我开始真的是这么想的。。。

 

做的时候发现，Access没有导出SQL的功能，不想用第三方的东西。。。

 

这里简单描述下我是怎么做的吧！

 

1、在access中建个视图，得到自己想要的数据；

 

2、把这个视图查询到的数据，导出成文本格式，我用的是CVS；

 

3、用文本编辑器，把导出的数据 处理成 SQL语句（多亏了vim，用其他编辑器都不知道怎么办才好，打开都成问题，更不用说快速编辑了。。。UE打开后，滚轮都滚不动的说。。。）；

 

4、用mysql命令，导入mysql。

 

思路很清晰，我就这么做了。直到最后一步，才发现问题：数据量太大（68万条），这一步很慢很慢。

 

慢也就罢了，只做一次（等了我近2个小时），没什么关系。。。可是，马上发现，数据中时间格式不对。比如Access中是2011-1-1，而mysql这边，期望得到的是2011-01-01，就这一个时间，要改动几十万条记录，还不如重新导一份新的呢。。。

 

于是，重复步骤2，得到数据。

 

因为导入过程慢的实在太离谱了，就找了个mysqldump 备份出来的文件来看，看一看mysql官方觉得怎样导入数据会更快，于是发现了诸如下面的内容：

 

 

LOCK TABLES `tablename` WRITE;
ALTER TABLE `tablename` DISABLE KEYS;
INSERT INTO `tablename` (id,name,password) VALUES 
-- 这里是数据
;
ALTER TABLE `tablename`ENABLE KEYS;
UNLOCK TABLES;

 

很明显，这里的SQL从3个方面做了优化：

 

1、加了只写的锁（解锁之前，不能查询，索引 只在 最后做 一次，插入数据 就会快啦）；

 

2、Disable了所有键（于是，就不用再做外键检查了，全心插入数据）；

 

3、insert into 用一条语句完成（一条语句 和 多条语句 的性能，差别不是一般的大啊，想想也觉得是。。。）。

 

 

这样之后，几分钟就能搞定。

 

 

另外，说一点文本处理的。。。

 

一开始，习惯性的，要写成一条一条的SQL，于是想到了用宏来做。宏很简单，小数据量非常方便，不用大脑怎么思考。但是，做了一会，发现实在太慢了，大数据量，处理不了。

 

我平时很少写vim脚本，现在想来，用脚本也会很慢，毕竟要一行行的执行呀。。。

 

于是乎，写正则，查找替换。很快，几秒钟搞定一次替换。正则的威力，真不是一般的强大啊。。。上面说的时间格式的转换，也是在这里做的。

 

注意：如果你的文本很好看，可以试试列编辑。一般行首适用，后面 几乎都不可用了。。。效率还不错。。。

 

这里要说的是，不要把多行数据变成一行，没这个必要。变成一行后，可读性会变的很差，文本处理会变的非常的慢。如果一行匹配的次数过多，用g这个参数，往往会很慢。。。

 

 

就说这些吧。。。

 

重新理了下思路。。。

 

下次估计10分钟就能搞定这样的事。。。

 

 

 

 

 

评论

1 楼 moonese 2011-06-21  

最后看 mysqldump 脚本的想法很不错！