大数据的验证和插入数据库

最近在做项目的时候涉及到大数据的校验和插入。问题描述：通过Excel导入客户信息表至数据库中指定表。

刚看到该问题，自然而然就是想直接将Excel解析至内存。在内存中遍历对应的客户List集合，取出每一个Customer和数据库中的数据进行比对判断该用户是否存在，存在的话在重复值上计数，不存在的话插入数据库。但是当数据达到10w+的时候，那个速度都不能直视了。思考解决方案，首先采用的解决方案：校验放在外层，里层进行判断分多线程执行。每个线程5k数据。只有5-6 k数据时，还可以。但是当数据量达到10w+时，速度还是很慢。后来测试发现，单单只是用插入其实速度还是可以的，但前面加上验证之后，就严重拖垮了插入速度。但验证还必须使用，苦恼了好一阵。后来通过在网上查找相关资料发现，有一个比较好的解决方案：在数据库的对应校验字段建立唯一索引，在插入的时候让数据库自己进行校验。代码逻辑和数据库分摊压力。在使用save时，由于建立了唯一索引所以插入会出问题，报DataIntegrityViolationException的异常。在Try,catch中将其捕捉，进行重复值的累计。这时，之前想要的效果已经实现。

评论

6 楼 cuishuangjia 2013-06-11  

你好，可以使用DBTOOLS来处理。
目前是测试阶段，只需要直接把机器码发给作者即可。([e-mail])

ver 20130610

修正内容：

1.SQL历史信息

2.增加复制功能

3.支持DB2
DbTools工具下载：
http://cuishuangjia.iteye.com/
支持ORACLE，MYSQL，SQLSERVER，POSTGRE，DB2四种数据库相互转换功能

功能：
1。将数据库中的表结构和数据保存到EXCEL中。
2。将EXCEL中的数据，同步到数据库中。
3。当表结构发生变化时，数据不会丢失。
4。根据EXCEL中的表结构，生成建表语句SQL文。
5。多用户使用该软件时，可以随时记录某个用户对数据库的操作。
6。可以为进行压力测试，自动生成数据。
7。导出表结构，根据表结构和数据库中的表结构进行差分。
8。导出DB结构，和现有环境DB进行表结构差分
9。导出用户自定义表结构，根据表结构导入，导入数据前对EXCEL校验进行数据库验证和业务逻辑验证


亲，请将所有压缩文件全部下载后再解压。
作者邮件：[e-mail]

5 楼 anlystar 2013-06-03  

月亮不懂夜的黑 写道

anlystar 写道

月亮不懂夜的黑 写道

xiongbin 写道

建议你使用redis

个人感觉这个其实没有太大必要。对于关系型数据库来讲处理这个还是可以的。听说淘宝还是使用的关系型数据库。再处理双11那么大数据流量的时候，并没感到有太大的压力。不知道我的看法对不对，欢迎指正。

像淘宝这样的互联网企业绝对不是单单靠某一种数据库就可以支撑起来的，他们会根据业务需求，不同模块或者业务使用不同的数据库以达到更高的性能体验

在iteye中应该有阿里的大牛，但是不知道能不能说说具体的查询以及存储实现技术。科普科普。

月亮不懂夜的黑 写道

anlystar 写道

月亮不懂夜的黑 写道

xiongbin 写道

建议你使用redis

个人感觉这个其实没有太大必要。对于关系型数据库来讲处理这个还是可以的。听说淘宝还是使用的关系型数据库。再处理双11那么大数据流量的时候，并没感到有太大的压力。不知道我的看法对不对，欢迎指正。

像淘宝这样的互联网企业绝对不是单单靠某一种数据库就可以支撑起来的，他们会根据业务需求，不同模块或者业务使用不同的数据库以达到更高的性能体验

在iteye中应该有阿里的大牛，但是不知道能不能说说具体的查询以及存储实现技术。科普科普。

infoq上有几个淘宝的架构视频讲解

4 楼 月亮不懂夜的黑 2013-06-03  

anlystar 写道

月亮不懂夜的黑 写道

xiongbin 写道

建议你使用redis

个人感觉这个其实没有太大必要。对于关系型数据库来讲处理这个还是可以的。听说淘宝还是使用的关系型数据库。再处理双11那么大数据流量的时候，并没感到有太大的压力。不知道我的看法对不对，欢迎指正。

像淘宝这样的互联网企业绝对不是单单靠某一种数据库就可以支撑起来的，他们会根据业务需求，不同模块或者业务使用不同的数据库以达到更高的性能体验

在iteye中应该有阿里的大牛，但是不知道能不能说说具体的查询以及存储实现技术。科普科普。

3 楼 anlystar 2013-06-03  

月亮不懂夜的黑 写道

xiongbin 写道

建议你使用redis

个人感觉这个其实没有太大必要。对于关系型数据库来讲处理这个还是可以的。听说淘宝还是使用的关系型数据库。再处理双11那么大数据流量的时候，并没感到有太大的压力。不知道我的看法对不对，欢迎指正。

像淘宝这样的互联网企业绝对不是单单靠某一种数据库就可以支撑起来的，他们会根据业务需求，不同模块或者业务使用不同的数据库以达到更高的性能体验

2 楼 月亮不懂夜的黑 2013-06-03  

xiongbin 写道

建议你使用redis

个人感觉这个其实没有太大必要。对于关系型数据库来讲处理这个还是可以的。听说淘宝还是使用的关系型数据库。再处理双11那么大数据流量的时候，并没感到有太大的压力。不知道我的看法对不对，欢迎指正。

1 楼 xiongbin 2013-06-03  

建议你使用redis