论坛首页 Java企业应用论坛

请教,需要处理的数据量太大怎么办?

浏览 17889 次
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2006-12-11  
解决方案:
1,优化索引
2,使用存储过程
3,使用中间结果集,把一些固定的数字提前算好
0 请登录后投票
   发表时间:2006-12-11  
可以考虑一下用索引技术来解决。lucene
0 请登录后投票
   发表时间:2006-12-11  
服务器的配置有点低了.SQL可能也要优化一下.可以看一下优化SQL这方面的资料.
0 请登录后投票
   发表时间:2006-12-12  
数据库层面:
1、统计使用最多的SQL的关键字段,然后根据需要进行索引加快速度(索引字段顺序和查询SQL语句where后面的条件顺序对检索速度影响也是有很大的关系)
2、设计表时不一定把一个完整对象信息作为一行来建表保存,考虑分拆表,虚关联就可以了
3、数据随着时间增加比较快的表可以考虑按照时间分表或者是给数据库进行分区,根据关键字或者是时间进行分区都是可以的
4、查看数据库检索的cache命中率,调整查询内存大小,提高cache命中率,数据库其他方面的配置都可以根据实际使用情况进行调整优化摸索

程序设计层面:
1、根据数据变化频度进行必要的cache对加快速度也是很好的,效果立竿见影
2、如果是可能的话,最好是能根据不同的条件生成静态HTML文件,这种效果最好,不过就看实际情况了能不能这样了
1 请登录后投票
   发表时间:2006-12-22  
几十万条本来就是小数据.

俺这里有几个几千万的,俺同事现做的有几亿.

用索引的话,几千万的查询也是ms级别
但没架构好的话,几十万条的也会出现等待几个小时的(比如toplink乱用产生迭代)

关键还是架构!
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics