一、背景：
持续连接的问题：对于非持续连接，浏览器可以通过连接是否关闭来界定请求或响应实体的边界；而对于持续连接，这种方法显然不奏效。有时，尽管我已经发送完所有数据，但浏览器并不知道这一点，它无法得知这个打开的连接上是否还会有新数据进来，只能傻傻地等了。
用Content-length解决：计算实体长度，并通过头部告诉对方。浏览器可以通过 Content-Length 的长度信息，判断出响应实体已结束
Content-length引入的新问题：由于 Content-Length 字段必须真实反映实体长度，但是对于动态生成的内容来说，在内容创建完之前，长度是不可知的。这时候要想准确获取长度，只能开一个足够大的 buffer，等内容全部生成好再计算。但这样做一方面需要更大的内存开销，另一方面也会让客户端等更久。
我们需要一个新的机制：不依赖头部的长度信息，也能知道实体的边界——分块编码（Transfer-Encoding: chunked）
二、分块编码（Transfer-Encoding: chunked）
Transfer-Encoding，是一个 HTTP 头部字段（响应头域），字面意思是「传输编码」。最新的 HTTP 规范里，只定义了一种编码传输：分块编码(chunked)。
分块传输编码（Chunked transfer encoding）是超文本传输协议（HTTP）中的一种数据传输机制，允许HTTP由网页服务器发送给客户端的数据可以分成多个部分。分块传输编码只在HTTP协议1.1版本（HTTP/1.1）中提供。
数据分解成一系列数据块，并以一个或多个块发送，这样服务器可以发送数据而不需要预先知道发送内容的总大小。
具体方法
在头部加入 Transfer-Encoding: chunked 之后，就代表这个报文采用了分块编码。这时，报文中的实体需要改为用一系列分块来传输。
每个分块包含十六进制的长度值和数据，长度值独占一行，长度不包括它结尾的 CRLF(\r\n)，也不包括分块数据结尾的 CRLF。
最后一个分块长度值必须为 0，对应的分块数据没有内容，表示实体结束。
例：
HTTP/1.1 200 OK
Content-Type: text/plain
Transfer-Encoding: chunked
25\r\n
This is the data in the first chunk\r\n
1C\r\n
and this is the second one\r\n
3\r\n
con\r\n
8\r\n
sequence\r\n
0\r\n
\r\n
Content-Encoding 和 Transfer-Encoding 二者经常会结合来用，其实就是针对 Transfer-Encoding 的分块再进行 Content-Encoding压缩。
注意：如果最末尾不是以0\r\n\r\n结束的话，会导致解析失败(此处是一个坑！！)。
附：java解析十六进制的chunked类型报文
protected byte[] readByChunked(InputStream input) throws IOException {
ByteArrayOutputStream lenTemp = new ByteArrayOutputStream();
ByteArrayOutputStream content = new ByteArrayOutputStream();
int b;
int chunkLen;
int limitCount = 0;
int size = 0;
readLoop:
while (true) {
limitCount = 0;
LengthLoop:
for (; ; ) {
b = input.read();
if (b == HTTP.CR ) {
b = input.read();
if (b == HTTP.LF) {
String lenStr = new String(lenTemp.toByteArray());
chunkLen = Integer.parseInt(lenStr, 16);
lenTemp.reset();
break LengthLoop;
}
}
//超出4个节点 抛异常
if(limitCount ++ > 8){
throw new IOException("单个块长度解析异常");
}
lenTemp.write(b);
}
if (chunkLen > 0) {
size = size+chunkLen;
this.checkLength(warnLength,maxReadLength,size);
byte[] bytes = new byte[chunkLen];
input.read(bytes);
content.write(bytes);
input.skip(2);
} else {
break readLoop;
}
}
return content.toByteArray();
}
/**
*
* @param warnLength 告警阈值
* @param maxReadLength 最大长度阈值
* @param curLength 当前长度
* @throws IOException
*/
public void checkLength(int warnLength,int maxReadLength,int curLength) throws IOException {
if (maxReadLength > 0 && curLength > maxReadLength) {
log.error("outOfLength读取到超大报文,拒绝阀值:" + maxReadLength + ",当前报文长度:" + curLength);
throw new IOException(info);
} else if (warnLength > 0 && curLength > warnLength) {
log.error("读取到大报文,警告阀值:" + warnLength + ",当前报文长度:" + curLength);
}
}
网友评论