HTTP Chunk分块&java.io.IOException: CRLF&missing CR

总结：
HTTP 1.1时，Response要嘛通过Content-Length来指定要传输的内容大小，要嘛通过Transfer-Encoding: chunked来传输动态大小的内容，此时要求Response传输的内容要符合chunk encoding的规定。
从抓包的角度来说，两个请求如果HTTP 参数（Head和Body）都相同的话，是等价的，不管请求是从浏览器还是Java代码发出来的。

CRLF -- Carriage-Return Line-Feed回车换行 回车(CR, ASCII 13, \r) 换行(LF, ASCII 10, \n)。
carriage ['kæridʒ] n. 运输；运费；四轮马车；举止；客车厢

HTTP1.1默认支持长连接（持久连接），长连接避免为每个请求都创建各自的连接，而是多个请求使用一个已经建立好的连接。如果每个HTTP请求都进行set up和tear down，这对于性能损失是非常严重的。
在长连接中，每次传输的长度必须都被计算的非常精确。如果在http头中以Content-Length来标记请求request或者响应response的大小，客户端或者服务器就只会从流中读取Content-Length指定大小的字节，然后表明本次传输结束。使得下一次客户端请求以及服务器端响应继续使用这个相同的socket连接成为可能。

在交互式应用程序中有1个问题，就是它并不知道将要传输的数据有多大。
在HTTP1.0中，服务器就会省略response头中的Content-Length而持续写数据出去，当服务器挂了的话，它简单地断开连接。而经典的HTTP客户端会一直读数据直到碰到-1（传输结束的标识符）。
为了处理这个问题，HTTP1.1中增加了一个特殊的header：Transfer-Encoding：chunked，允许响应response被分块chunked。每次向连接写数据的时候会先计算大小，最后在response的尾部以一个0长度的chunk块标志着此次传输的结束。即HTTP1.1支持chunked编码，它允许HTTP消息被分成多块后再进行传输。Chunking一般用在服务器响应response的时候，但是客户端也可以chunk大的请求request。即Chunk编码允许服务器在发送完Header后，发送更多的Body内容。

Chunked编码使用若干个Chunk块串连而成，每个Chunk块都以一个表明chunk快大小的16进制数字和一个额外的CRLF（回车换行）开始，后面跟着指定大小的内容。即每个Chunk块分为头部和正文两部分，头部内容指定下一段正文的字符总数（十六进制的数字）和数量单位（一般不写），正文部分就是指定长度的实际内容，两部分之间用回车换行(CRLF)隔开。最后以一个长度为0的Chunk表明本次传输结束 。
1个典型的Chunk传输例子：

C\r\n
Some data...
11\r\n
Some more data...
0\r\n

上述消息内容包含2个chunk块，第一个块是12字节长度（hex C），第二个块是17字节长度（hex 11）。

Java中减少Chunk数量的一种方法是不要适应flush（），只使用1个write（）方法来输出所有内容。如果被输出的内容大小大于output的buffer大小，那么输出还是会被chunk，但是不使用flush（）方法还是可以有效地减少不必要的chunking。

在有些情况下，有些客户端或者服务器只能处理老的HTTP1.0的行为。此时，应该使用Connection: close的header来通知接收部分不要使用长连接。
Connection: keep-alive表明可以使用长连接。

参考：HTTP Chunking





相关解决的问题：
Axis2 RPC客户端默认根据Content-Length的大小来读取Response，而相应的Web Service使用chunked encoding的方式来传输，因此报错。通过设置参数来通知服务器不使用Chunk编码来解决。
Axis2 客户端调用时报【Transport error: 411 Error: Length Required】


CRLF、missing CR这2个错误都表明返回的Response内容不正确。
即返回的Response Header头中指定了Transfer-Encoding：chunked，但是传输的Response内容却不符合HTTP 1.1 RFC中对于chunked的规定。
因此在apache http client包通过以下2种不同的方法调用Request后，做解码操作时，在某个读取某个chunk时，读取根据CRLF标识符前面指定的字节数后，紧跟着应该是下一个Chunk，而读下一个Chunk时，发现CRLF前面的字符并不是16进制的数，即返回的Response不符合Chunking中对于分块的规定，所以报错。

java.io.IOException: CRLF expected at end of chunk: 47/109
	at org.apache.commons.httpclient.ChunkedInputStream.readCRLF(ChunkedInputStream.java:207)
	at org.apache.commons.httpclient.ChunkedInputStream.nextChunk(ChunkedInputStream.java:219)
	at org.apache.commons.httpclient.ChunkedInputStream.read(ChunkedInputStream.java:176)
	at java.io.FilterInputStream.read(Unknown Source)
	at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:108)
	at java.io.FilterInputStream.read(Unknown Source)
	at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:127)
	at org.apache.jmeter.protocol.http.sampler.HTTPSampler2.sample(HTTPSampler2.java:853)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1038)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1022)
	at org.apache.jmeter.threads.JMeterThread.doNormalSample(JMeterThread.java:292)
	at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:351)
	at java.lang.Thread.run(Unknown Source)


java.io.IOException: missing CR
	at sun.net.www.http.ChunkedInputStream.processRaw(Unknown Source)
	at sun.net.www.http.ChunkedInputStream.readAheadNonBlocking(Unknown Source)
	at sun.net.www.http.ChunkedInputStream.readAhead(Unknown Source)
	at sun.net.www.http.ChunkedInputStream.available(Unknown Source)
	at java.io.FilterInputStream.available(Unknown Source)
	at java.io.BufferedInputStream.read(Unknown Source)
	at java.io.FilterInputStream.read(Unknown Source)
	at org.apache.jmeter.protocol.http.sampler.HTTPSampler.readResponse(HTTPSampler.java:260)
	at org.apache.jmeter.protocol.http.sampler.HTTPSampler.sample(HTTPSampler.java:480)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1038)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1022)
	at org.apache.jmeter.threads.JMeterThread.doNormalSample(JMeterThread.java:292)
	at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:351)
	at java.lang.Thread.run(Unknown Source)

评论

1 楼 jss 2012-11-05