使用Nginx+Lua进行断点上传的demo

    公司有个业务需要优化，场景是手机客户端上传小文件到服务端，需要支持断点上传。现在直接用tomcat直接面对客户端进行网络IO，现在准备把网络IO这块剥离出来，彻底交给Nginx+Lua来处理。理由有如下几点：
    1、应用服务器还是乖乖的待在后端做业务就好，底层的网络IO跟具体业务无关，这样使得项目的维护更方便，看起来更清晰。
    2、对于底层IO操作，不是java的强项，特别是手机用户网速慢的场景，非WIFI用户网速不快，传输时间长，且数据量是间歇性的，时有时无，这种场景使用Nginx的epoll模型最合适不过了。
    3、可以使用Nginx做负载均衡进行扩展。

    下面写一个小demo来让Nginx+Lua进行网络IO，流程如下：
    客户端POST一行数据给Nginx，地址为：http://192.168.112.64:38080/upload，Lua脚本读取数据，如果读取超时，则把当前已读取到的数据POST到后端tomcat，地址为：http://192.168.112.64/GoSmsMarService/Test；如果读取正常，也把读取到的数据POST到后端tomcat。可以根据具体场景直接把POST数据PUSH到缓存服务器，可以提高命中率，因为大多数用户在收到文件后马上会去查看，tomcat服务器再去异步的从缓存服务器读取数据进行持久化。
    这里使用了nginx的扩展版本openresty，已经包含了N多第三方模块，当然包括了要使用到的Lua模块，安装过程略。

    nginx配置文件如下，Lua代码注释挺详细了，不赘述:

worker_processes  1;
error_log logs/error.log;

events {
    worker_connections 1024;
}

http {
    # 后端tomcat
    upstream tomcat {
        server 127.0.0.1;
    }

    server {
        listen 38080;

	# tomcat地址
        location ~ ^/GoSmsMarService {
            proxy_store off;
            proxy_redirect  off;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header Host $http_host;

            proxy_pass http://tomcat;
        }
	
	# 上传地址
        location /upload {
            default_type text/html;
            
	    # lua脚本超时设为1秒
            lua_socket_read_timeout 1s;

            content_by_lua '
                -- 得到cosocket对象
                local sock, err_socket = ngx.req.socket()
		
		-- 开始读取
                local line, err, partial = sock:receive()
		
		-- 如果读一行数据失败
                if not line then
			-- 此次HTTP请求URI设为tomcat后端URI
                        ngx.req.set_uri("/GoSmsMarService/Test")

			-- 设置post长度
                        ngx.req.set_header("Content-Length", string.len(partial));
                        
			-- 使用读取的数据片段重置post数据
			ngx.req.set_body_data(partial)

			-- 内部请求跳转
                        return ngx.exec("/GoSmsMarService/Test")
                end
		
		-- 转发完整的post数据，注释参见上面几行
                ngx.req.set_uri("/GoSmsMarService/Test")
                ngx.req.set_header("Content-Length", string.len(line));
                ngx.req.set_body_data(line)
                return ngx.exec("/GoSmsMarService/Test")
            ';
        }
    }
}

 

    下面是tomcat接收Nginx的转发请求的servlet代码，把收到的数据写到文件并返回数据长度，代码很简单，不过多解释:

import java.io.IOException;

import javax.servlet.ServletException;
import javax.servlet.ServletInputStream;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import com.g3net.tool.FileUtils;
import com.g3net.tool.WriteStream;

public class TestServlet extends HttpServlet {

	@Override
	protected void doPost(HttpServletRequest req, HttpServletResponse resp)
			throws ServletException, IOException {
		
		ServletInputStream sis = req.getInputStream();
		WriteStream ws = new WriteStream();
		
		while (true) {
			int l = sis.read();
			
			if (l == -1) {
				break;
			}
			
			ws.write((byte) l);
		}
		
		try {
			// 将读取到的post数据写到文件系统
			FileUtils.write("/data/" + System.currentTimeMillis(), ws.toByteArray());
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		// 响应返回读到的post数据的长度
		resp.getWriter().print(ws.toByteArray().length);
	}
}

 
    下面写一个测试客户端测试一下读超时的情况，客户端发送post请求到Nginx，并把响应打印出来。post数据是不完整的一行，所以脚本1秒过后就会读超时，代码如下:

import java.io.InputStream;
import java.io.OutputStream;
import java.net.Socket;

import com.g3net.tool.WriteStream;

public class TestSocket {
	public static void main(String[] args) throws Exception {
		Socket socket = new Socket("192.168.112.64", 38080);

		InputStream is = socket.getInputStream();
		OutputStream os = socket.getOutputStream();
		WriteStream ws = new WriteStream();

		byte[] data = "post data".getBytes();

		StringBuffer sb = new StringBuffer("POST /upload HTTP/1.1\r\n");
		sb.append("User-Agent: Java/1.6.0_20\r\n");
		sb.append("Host: 192.168.112.64:38080\r\n");
		sb.append("Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2\r\n");
		sb.append("Content-Type: application/octet-stream\r\n");
		sb.append("Content-Length: " + data.length + "\r\n");
		sb.append("Connection: Close\r\n\r\n");

		os.write(sb.toString().getBytes());
		os.write(data);
		os.flush();

		while (true) {
			int l = is.read();

			if (l == -1) {
				break;
			}

			ws.writeByte((byte) l);
		}

		is.close();
		os.close();
		socket.close();

		System.out.println(new String(ws.toByteArray()));
	}
}

 

    返回结果如下图所示，返回的字节数正好是9个。

 

 

    再看下文件系统的数据，如下图所示:

 

    把byte[] data = "post data".getBytes();改成byte[] data = "post data complete\r\n".getBytes();

加上换行符就不会出现读超时了，再运行一下，返回的字节发生变化，结果如下图所示：
 

    简单的demo先告一段落，之后会找台好机器测测性能，敬请关注。

评论

3 楼 邢邢色色 2012-10-26  

xueliangliang 写道

如果lua 直接存储，然后把filename 传回 App Server, 效率会不会高点，即使不同server, 通过NFS, 或者直接用CDN类似的生成URL 来做都应改能实现。

嗯，这只是个实验~

2 楼 xueliangliang 2012-10-11  

如果lua 直接存储，然后把filename 传回 App Server, 效率会不会高点，即使不同server, 通过NFS, 或者直接用CDN类似的生成URL 来做都应改能实现。

1 楼 liuxuejin 2012-09-21  

后期呢？的性能测试呢