锁定老帖子 主题:记一次代码优化(大数据量处理及存储)
精华帖 (5) :: 良好帖 (4) :: 新手帖 (0) :: 隐藏帖 (1)
|
|
---|---|
作者 | 正文 |
发表时间:2010-02-22
最后修改:2010-02-22
"对于时间要求不是很高,更要求CPU的性能的场景"
第一次听见这个说法,hoho 个人经验中,当你的代码操作20w数据的时候,应该有大量内存操作,cpu不应该到100%的 常见cpu 100%原因 1 死循环 2 锁等待 就java来说,锁等待的可能性比较大. 比如不小心用到了有同步能力的class. 望楼主再检查一下 |
|
返回顶楼 | |
发表时间:2010-02-22
主要是因为处理效率低还是因为CPU瞬间达到100%而惹你不高兴了呢?
|
|
返回顶楼 | |
发表时间:2010-02-22
gexp.fang 写道 主要是因为处理效率低还是因为CPU瞬间达到100%而惹你不高兴了呢?
主要是测试提出一个问题单,说在执行操作时候CPU过高,仅仅是为解决这个问题。 |
|
返回顶楼 | |
发表时间:2010-02-22
强强爱妍妍 写道 "对于时间要求不是很高,更要求CPU的性能的场景"
第一次听见这个说法,hoho 个人经验中,当你的代码操作20w数据的时候,应该有大量内存操作,cpu不应该到100%的 常见cpu 100%原因 1 死循环 2 锁等待 就java来说,锁等待的可能性比较大. 比如不小心用到了有同步能力的class. 望楼主再检查一下 该问题还真的是因为CPU过高,我没做文中提到的优化时,CPU在100%,而内存在正常范围之内。 这个数据时通过jconsole观察的。应该没错。 至于你说的锁等待在本案可能不大。 |
|
返回顶楼 | |
发表时间:2010-02-22
zhangdp_neu 写道 "该模块主要是客户端负责上传一个包含手机号码的txt"
很感兴趣你的优化,txt格式是什么样的? txt就是简单手机号码 一行一个号码 |
|
返回顶楼 | |
发表时间:2010-04-29
觉得用临时表快点,反正就一字段,java只需要验证有效性就算了,重复数据的处理也让数据库去做吧。
|
|
返回顶楼 | |