大数据量的处理的思路

 

大数据量的处理的思路

 

one ask and answer------------------

引用 8 楼 william548934 的回复:
引用 1 楼 bao110908 的回复:
这问题问得，这二三十万是什么格式的数据？还是二三十万行的 INSERT 语句？


比如二三十万行有规则的数据存放在excel文件中。。。如下：
a  b  c  d  e  f
a  b  c    e  f
a    c  d  e  f
a  b  c  d  e 
a  b  c  d    f
................
请帮忙哦。。。

你的数据库是什么？oracle吗？

先将你的excel的文件保存为.cvs文件

orale 可以通过PLSQL-->tool>text import 导入.cvs文件的

 

 

another answer----------------------------------------

批量导入数据库~

强烈建议不要自己写程序 实现，应该遵循如下原则：

1. 优先考虑使用 数据库 提供的批量导入命令实现，速度快，效率高（oracle 就有sqlldr命令）

2. 优先考虑使用命令行，直接导入.例如：insert table ……

3. 最后 才是考虑自己写程序 进行数据导入~

你就二三十万数据 算什么？也不算很大量的，我曾将将200万数据导入至 db2 至花了 5秒不到的时间。

我是用的db2 批量导入的命令：

db2 "export to RPT_DIRECTORY_FILE_new_1.txt of del select * from RPT_DIRECTORY_FILE where rpt_id in('A3015','A3021','A3037','A3047')"