10万个字符串相加会发生什么？？

最近在检查公司平台的一个BUG，BUG的具体症状是：平台用户上传了一个附件，提交时需要等待30-50分钟，有时根本传不上去。

解决BUG:

      1、我先检查了平台的日志，发现相关业务没有发生异常，检查了整个WEB服务器的日志，发现有很多"TNS:connection close"。接着我就怀疑是由于平台的链接池被耗尽，于是我就重新配置链接池，定期回收超时链接。

       2、代码上线后，用户反应该问题还是存在，但是现在可以提交了，不会出现提交不上去。但是现在还是很慢速度并没有上去。并且运维同事反一旦用户提交后，系统的CPU负载会达到一个很可怕的数量级。于是我把该业务模块的所有代码拿出来一个个剖析跟踪。结果真发现了问题，即使在本地，提交一个10万行左右的文件，也很慢。。。

慢慢一行代码段出现在了我的面前具体如下：

while((fileLine = in.readLine()) != null) {
                line_num++;
                if(CTools.checkMobileValid(fileLine)!=0) {
                  text_error = "error";
                  send_hash.put(String.valueOf(hash_num), line_num + "_" + "您输入的手机号码无效！");
                  hash_num++;
                }
                else {
                 mobilenumber += fileLine + ",";
                }
              }

 String[] mobilenumber_arry = mobilenumber .split(",");

 

mobilenumber += fileLine + ",";

 String[] mobilenumber_arry = mobilenumber .split(",");

 

 请注意代码中红色 字体部分，另外该循环大概有10万行。

看到上面的代码我很是郁闷....，这样的思路我是理解不了，也看不明白，贴一个字符串测试例子：

http://blog.csdn.net/chuan122345/archive/2007/08/12/1739806.aspx

 

通过这个例子，我们可以学习到字符串链接，有时候真会死机的。。。如果传一个20万行的文件，我将毫不怀疑会直接把服务器给挂死。。。（当然，这也取决于服务器的运算力。。。）

 

评论

51 楼 JavaFans 2010-02-16  

<div class="quote_title">猜想：</div>
<div class="quote_title">对于编译期间就能确定的String值，的确就是如楼上所说。</div>
<div class="quote_title">理由是编译器做过优化了，他能够用对待StringBuffer的方式来优化String。</div>
<div class="quote_title">但是在运行时才确定的String值，也就是楼主的情况下，我对此表示怀疑。<br>
</div>
<div class="quote_title"><br></div>
<div class="quote_title">chenguanwei2008 写道</div>
<div class="quote_div">
<div class="quote_title">kevintse 写道</div>
<div class="quote_div">
<div class="quote_title">binlaniua 写道</div>
<div class="quote_div">其实 <br>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br><br>是一样的.. <br><br>和 <br>String a = "1"; <br>a += "b"; <br>就不一样了。。 <br><br>
</div>
<br><br>Oh, my god...不知道你是在哪里看到的～ <br>"1" + ..... + ...居然跟StringBuffer.append()是一样的？ <br>String.+ 与StringBuffer.append()相比，性能是很低效的。String.+每加一次就生成一个临时对象，StringBuffer.append()则是append过程中不断重新分配内存(次数要远远低于String.+)。 <br>拼接大量字符串的时候，用StringBuffer.append()的性能远远高于String.+，只是相对耗费比较多的内存。 <br>你可以测试一下，或者看一下String和StringBuffer的源代码。</div>
<p>binlaniua说的是对的，你可以写代码试试</p>
<p>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br>把编译得到的class文件用java -p反编译一次，观察得到的字节码你就知道啦</p>
<p> </p>
</div>
<p> </p>

50 楼 JavaFans 2010-02-16  

<div class="quote_title">有意思，学习<br>
</div>
<div class="quote_title"><br></div>
<div class="quote_title">chenguanwei2008 写道</div>
<div class="quote_div">
<div class="quote_title">kevintse 写道</div>
<div class="quote_div">
<div class="quote_title">binlaniua 写道</div>
<div class="quote_div">其实 <br>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br><br>是一样的.. <br><br>和 <br>String a = "1"; <br>a += "b"; <br>就不一样了。。 <br><br>
</div>
<br><br>Oh, my god...不知道你是在哪里看到的～ <br>"1" + ..... + ...居然跟StringBuffer.append()是一样的？ <br>String.+ 与StringBuffer.append()相比，性能是很低效的。String.+每加一次就生成一个临时对象，StringBuffer.append()则是append过程中不断重新分配内存(次数要远远低于String.+)。 <br>拼接大量字符串的时候，用StringBuffer.append()的性能远远高于String.+，只是相对耗费比较多的内存。 <br>你可以测试一下，或者看一下String和StringBuffer的源代码。</div>
<p>binlaniua说的是对的，你可以写代码试试</p>
<p>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br>把编译得到的class文件用java -p反编译一次，观察得到的字节码你就知道啦</p>
<p> </p>
</div>
<p> </p>

49 楼 chenguanwei2008 2010-02-14  

<div class="quote_title">kevintse 写道</div>
<div class="quote_div">
<div class="quote_title">binlaniua 写道</div>
<div class="quote_div">其实 <br>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br><br>是一样的.. <br><br>和 <br>String a = "1"; <br>a += "b"; <br>就不一样了。。 <br><br>
</div>
<br><br>Oh, my god...不知道你是在哪里看到的～ <br>"1" + ..... + ...居然跟StringBuffer.append()是一样的？ <br>String.+ 与StringBuffer.append()相比，性能是很低效的。String.+每加一次就生成一个临时对象，StringBuffer.append()则是append过程中不断重新分配内存(次数要远远低于String.+)。 <br>拼接大量字符串的时候，用StringBuffer.append()的性能远远高于String.+，只是相对耗费比较多的内存。 <br>你可以测试一下，或者看一下String和StringBuffer的源代码。</div>
<p>binlaniua说的是对的，你可以写代码试试</p>
<p>String a = "1" + ..... + ... <br><br>和 <br><br>StringBuffer sbuff = new StringBuffer(); <br>sbuff.append(..).append(..) <br>把编译得到的class文件用java -p反编译一次，观察得到的字节码你就知道啦</p>
<p> </p>

48 楼 shellfj 2010-02-10  

楼主，明显对Java代码的优化没有什么概念。

47 楼 ftp51423121 2010-02-10  

StringBuilder

46 楼 lkj107 2010-02-08  

10W个简单的字符串，OOM的几率很小吧，得有多大的并发a
StringBuffer比较可靠

45 楼 ronalke 2010-02-08  

在数据库拼接查询串等地方可以用StringBuffer，应该就不会遇到这样的问题了

44 楼 luckyEveryOne 2010-02-03  

我很佩服楼主 不用StringBuilder

43 楼 tiny051401 2010-02-03  

很恐怖的代码，像我们这样的小服务器，碰到这样的代码，也只有死的份了。觉得开始设计的就有问题，就不应该这么相加。

42 楼 zcy860511 2010-02-02  

自己写个缓存吧，数量过大，真大到JVM分配的内存都不够用了，一样OutOfMemory

41 楼 andy54321 2010-02-02  

到底这个需求该如何解决呢？
用什么数据结构来存放才是王道？
楼主的解决方法效率、性能提升多少？

40 楼 抛出异常的爱 2010-02-02  

传arry不传iterator吧.

39 楼 elmar 2010-02-02  

zhangdp_neu 写道

如果相加频率很频繁的话，挺可怕的，算一下，你这10万字符串占多少空间。

一个字符串20个字符，40个byte，10万也就4M而已

38 楼 elmar 2010-02-02  

ansjsun 写道

听哥一句用数组吧..先弄个足够大的数组...一行一行放.弄个数字记录.到了数组哪行了.如果不够数组扩容..至于那个需求..list和map都不行..容易内存溢出

你以为ArrayList会溢出的话，数组就不溢出了？？

37 楼 billy1977 2010-02-02  

kasirin 写道

Scenery 写道

我觉得是设计思想的问题，不要说上传十万个字符串，就是上传一百万个字符串，就现在而言也不是没有，问题不是在于把String改成StringBuilder就OK了，问题在于怎么往上传，如果把这些字符串往数据库里这么一存，肯定不是一个好注意，无论是上传还是下载都会花费大量的时间，更别提对这些内容进行修改。所以我认为大于五千个字符串的不如保存成文件，在数据库里只要记一下这个文件的路径就可以了。

感觉这蛮好的

这个显然自以为是了，从楼主透露出的一些信息能看出那个文件里保存的是电话号码，他需要把这些电话号码保存到数据库里才能进行查询、统计，或者避免重复等操作，如果四个人上传了十个这样的文件，文件里的电话号码可能重复，现在需要统计一下一共有多少电话号码，数据库里select count(*)...，文件里就麻烦了呀。如果他需要给这些号码发短信，并记录发送次数，这个发送次数难道也记录在文件里吗？

36 楼 kasirin 2010-02-02  

Scenery 写道

我觉得是设计思想的问题，不要说上传十万个字符串，就是上传一百万个字符串，就现在而言也不是没有，问题不是在于把String改成StringBuilder就OK了，问题在于怎么往上传，如果把这些字符串往数据库里这么一存，肯定不是一个好注意，无论是上传还是下载都会花费大量的时间，更别提对这些内容进行修改。所以我认为大于五千个字符串的不如保存成文件，在数据库里只要记一下这个文件的路径就可以了。

感觉这蛮好的

35 楼 kevintse 2010-02-02  

binlaniua 写道

其实
String a = "1" + ..... + ...

和

StringBuffer sbuff = new StringBuffer();
sbuff.append(..).append(..)

是一样的..

和
String a = "1";
a += "b";
就不一样了。。

Oh, my god...不知道你是在哪里看到的～
"1" + ..... + ...居然跟StringBuffer.append()是一样的？
String.+ 与StringBuffer.append()相比，性能是很低效的。String.+每加一次就生成一个临时对象，StringBuffer.append()则是append过程中不断重新分配内存(次数要远远低于String.+)。
拼接大量字符串的时候，用StringBuffer.append()的性能远远高于String.+，只是相对耗费比较多的内存。
你可以测试一下，或者看一下String和StringBuffer的源代码。

34 楼 bonny 2010-02-02  

蜗牛创业网 写道

mazzystar 写道

蜗牛创业网 写道

append太多了会溢出。
我的意思是 buffer append太多，在很久以前这件事在我面前发生了

能说说最后怎么解决的吗？

ByteArrayOutputStream

正道，以前处理一个10m的文件，string半个小时都处理不完，流瞬间就好了。

33 楼 Scenery 2010-02-01  

我觉得是设计思想的问题，不要说上传十万个字符串，就是上传一百万个字符串，就现在而言也不是没有，问题不是在于把String改成StringBuilder就OK了，问题在于怎么往上传，如果把这些字符串往数据库里这么一存，肯定不是一个好注意，无论是上传还是下载都会花费大量的时间，更别提对这些内容进行修改。所以我认为大于五千个字符串的不如保存成文件，在数据库里只要记一下这个文件的路径就可以了。

32 楼 shoushou2001 2010-02-01  

楼主不错啊，能发现这问题，呵呵。