论坛首页 Java企业应用论坛

记一次代码优化(大数据量处理及存储)

浏览 18309 次
精华帖 (5) :: 良好帖 (4) :: 新手帖 (0) :: 隐藏帖 (1)
作者 正文
   发表时间:2010-02-22   最后修改:2010-02-22
"对于时间要求不是很高,更要求CPU的性能的场景"

第一次听见这个说法,hoho

个人经验中,当你的代码操作20w数据的时候,应该有大量内存操作,cpu不应该到100%的

常见cpu 100%原因
1 死循环
2 锁等待

就java来说,锁等待的可能性比较大. 比如不小心用到了有同步能力的class.
望楼主再检查一下
0 请登录后投票
   发表时间:2010-02-22  
主要是因为处理效率低还是因为CPU瞬间达到100%而惹你不高兴了呢?
0 请登录后投票
   发表时间:2010-02-22  
gexp.fang 写道
主要是因为处理效率低还是因为CPU瞬间达到100%而惹你不高兴了呢?

主要是测试提出一个问题单,说在执行操作时候CPU过高,仅仅是为解决这个问题。
0 请登录后投票
   发表时间:2010-02-22  
强强爱妍妍 写道
"对于时间要求不是很高,更要求CPU的性能的场景"

第一次听见这个说法,hoho

个人经验中,当你的代码操作20w数据的时候,应该有大量内存操作,cpu不应该到100%的

常见cpu 100%原因
1 死循环
2 锁等待

就java来说,锁等待的可能性比较大. 比如不小心用到了有同步能力的class.
望楼主再检查一下

该问题还真的是因为CPU过高,我没做文中提到的优化时,CPU在100%,而内存在正常范围之内。
这个数据时通过jconsole观察的。应该没错。
至于你说的锁等待在本案可能不大。
0 请登录后投票
   发表时间:2010-02-22  
zhangdp_neu 写道
"该模块主要是客户端负责上传一个包含手机号码的txt"

很感兴趣你的优化,txt格式是什么样的?

txt就是简单手机号码
一行一个号码
0 请登录后投票
   发表时间:2010-04-29  
觉得用临时表快点,反正就一字段,java只需要验证有效性就算了,重复数据的处理也让数据库去做吧。
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics