10万个字符串相加会发生什么？？

最近在检查公司平台的一个BUG，BUG的具体症状是：平台用户上传了一个附件，提交时需要等待30-50分钟，有时根本传不上去。

解决BUG:

      1、我先检查了平台的日志，发现相关业务没有发生异常，检查了整个WEB服务器的日志，发现有很多"TNS:connection close"。接着我就怀疑是由于平台的链接池被耗尽，于是我就重新配置链接池，定期回收超时链接。

       2、代码上线后，用户反应该问题还是存在，但是现在可以提交了，不会出现提交不上去。但是现在还是很慢速度并没有上去。并且运维同事反一旦用户提交后，系统的CPU负载会达到一个很可怕的数量级。于是我把该业务模块的所有代码拿出来一个个剖析跟踪。结果真发现了问题，即使在本地，提交一个10万行左右的文件，也很慢。。。

慢慢一行代码段出现在了我的面前具体如下：

while((fileLine = in.readLine()) != null) {
                line_num++;
                if(CTools.checkMobileValid(fileLine)!=0) {
                  text_error = "error";
                  send_hash.put(String.valueOf(hash_num), line_num + "_" + "您输入的手机号码无效！");
                  hash_num++;
                }
                else {
                 mobilenumber += fileLine + ",";
                }
              }

 String[] mobilenumber_arry = mobilenumber .split(",");

 

mobilenumber += fileLine + ",";

 String[] mobilenumber_arry = mobilenumber .split(",");

 

 请注意代码中红色 字体部分，另外该循环大概有10万行。

看到上面的代码我很是郁闷....，这样的思路我是理解不了，也看不明白，贴一个字符串测试例子：

http://blog.csdn.net/chuan122345/archive/2007/08/12/1739806.aspx

 

通过这个例子，我们可以学习到字符串链接，有时候真会死机的。。。如果传一个20万行的文件，我将毫不怀疑会直接把服务器给挂死。。。（当然，这也取决于服务器的运算力。。。）

 

评论

31 楼 lydawen 2010-02-01  

mazzystar 写道

蜗牛创业网 写道

append太多了会溢出。
我的意思是 buffer append太多，在很久以前这件事在我面前发生了

能说说最后怎么解决的吗？

应该是已经超出JVM的内存了吧~

30 楼 zhangdp_neu 2010-02-01  

如果相加频率很频繁的话，挺可怕的，算一下，你这10万字符串占多少空间。

29 楼 ansjsun 2010-02-01  

听哥一句用数组吧..先弄个足够大的数组...一行一行放.弄个数字记录.到了数组哪行了.如果不够数组扩容..至于那个需求..list和map都不行..容易内存溢出

28 楼 m7788 2010-02-01  

不说别的，光说这10W次循环@_@

27 楼 蜗牛创业网 2010-02-01  

mazzystar 写道

蜗牛创业网 写道

append太多了会溢出。
我的意思是 buffer append太多，在很久以前这件事在我面前发生了

能说说最后怎么解决的吗？

ByteArrayOutputStream

26 楼 icyiwh 2010-02-01  

引用

while((fileLine = in.readLine()) != null) { 

你这样如果有一万行,那需要进行10000次的IO,需要考虑Buffer,减少IO才是提升性能的王道.

  另外,即使用StringBuilder了,也要给其提供合适的capability才合适.

25 楼 hommy8 2010-02-01  

fish2007 写道

JDK5之后，完全可以用“+”操作符来连接字符串，因为在JDK5之后，java会用StringBuilder来处理

真的吗？头一次听到...

24 楼 sunnymoon 2010-02-01  

mobilenumber += fileLine + ",";

String[] mobilenumber_arry = mobilenumber .split(",");
这两个地方都很要命。
字符串相加，会把内存吃光的，谁写的，太有才了。
还有第二行，性能很有问题。数据库设计的方式就有问题。
像这样的大数据量，用分割成数组效率很低的。

23 楼 xzqttt 2010-02-01  

RednaxelaFX 写道

mengke 写道

楼主应该学习了解一下String的类型，这样的频繁拼接应该用StringBuffer

楼主的描述似乎表明这段代码并不是楼主自己写的，而是楼主接手维护的。这种状况让人同情……
而且原本那段代码要表达的意图大概是这样：

List<String> mobilenumber = new ArrayList<String>();
while((fileLine = in.readLine()) != null) {
  line_num++;
  if(CTools.checkMobileValid(fileLine)!=0) {
    text_error = "error";
    send_hash.put(String.valueOf(hash_num), line_num + "_" + "您输入的手机号码无效！");
    hash_num++;
  }
  else {
   mobilenumber.add(fileLine);
  }
}
String[] mobilenumber_arry = mobilenumber.toArray(new String[mobilenumber.size()]);

楼主显然也知道这点……只是提醒一下大家说别像顶楼代码那样乱搞而已，吧？

建议楼主看看mobilenumber_arry下面究竟是要做什么用的，当mobilenumber的记录达到一定条数之后，就做一次处理，否则等到字符串都读完了再toArray，可能会OOM！

22 楼 mp_juan 2010-02-01  

如果是要设计多线程的话，建议使用StringBuffer，否则尽量使用StringBuilder

21 楼 sunnymoon 2010-02-01  

没必要用线程安全，StringBuilder效率更高。

20 楼 binlaniua 2010-01-31  

其实
String a = "1" + ..... + ...

和

StringBuffer sbuff = new StringBuffer();
sbuff.append(..).append(..)

是一样的..

和
String a = "1";
a += "b";
就不一样了。。

19 楼 vvggsky 2010-01-31  

fish2007 写道

JDK5之后，完全可以用“+”操作符来连接字符串，因为在JDK5之后，java会用StringBuilder来处理

要说清楚开闭区间，Java6（包括）以后才是

18 楼 zcq100 2010-01-31  

试试LinkedList，插入大量数据要比ArrayList来得好

17 楼 495127903 2010-01-31  

RednaxelaFX 写道

mengke 写道

楼主应该学习了解一下String的类型，这样的频繁拼接应该用StringBuffer

楼主的描述似乎表明这段代码并不是楼主自己写的，而是楼主接手维护的。这种状况让人同情……
而且原本那段代码要表达的意图大概是这样：

List<String> mobilenumber = new ArrayList<String>();
while((fileLine = in.readLine()) != null) {
  line_num++;
  if(CTools.checkMobileValid(fileLine)!=0) {
    text_error = "error";
    send_hash.put(String.valueOf(hash_num), line_num + "_" + "您输入的手机号码无效！");
    hash_num++;
  }
  else {
   mobilenumber.add(fileLine);
  }
}
String[] mobilenumber_arry = mobilenumber.toArray(new String[mobilenumber.size()]);

楼主显然也知道这点……只是提醒一下大家说别像顶楼代码那样乱搞而已，吧？

用List的话会不会也会出现异常. 我记得有个项目出现过这种情况.. 就是List存放大的数据量. 结果程序都瘫痪了.

小弟刚入门,不懂的事情就问.. 呵呵.. 希望不要拍砖.

16 楼 fish2007 2010-01-31  

JDK5之后，完全可以用“+”操作符来连接字符串，因为在JDK5之后，java会用StringBuilder来处理

15 楼 mazzystar 2010-01-31  

蜗牛创业网 写道

append太多了会溢出。
我的意思是 buffer append太多，在很久以前这件事在我面前发生了

能说说最后怎么解决的吗？

14 楼 raymond2006k 2010-01-30  

用StringBuilder等都没错。

不过，我觉的这种场景的数据量到一定程度，需要重构的主要是设计。

就像分页一样，内存里一次只处理一定数量，例如：200 个，采用stream或异步方式等方式逐步处理。总之，java弱的就是内存，不要做大内存操作。

13 楼 seraphim871211 2010-01-30  

mengke 写道

楼主应该学习了解一下String的类型，这样的频繁拼接应该用StringBuffer

你应该学习认真看别人的帖子，LZ显然知道频繁拼接需要用什么，LZ应该是提醒大家这样的场景根本不需要字符串拼接。

12 楼 javaonejcy 2010-01-30  

毫无疑问这是个设计问题，不论用什么，都不要给系统留下频繁大负载的机会。