协程才是未来-性能夸张的协程服务器，基于eventlet(greenlet)的http性能测试

早上好友baojing.jiao发来消息跟我讨论eventlet。早就知道有这么个玩意，一直没空看。正好今天试试。发现其给出的聊天服务器的例子还算简单，就自己改改做出个http服务器的例子。一测性能才发现如此夸张。

 

先看程序：

 

#! /usr/bin/env python
# -*- coding: UTF-8 -*-
# File: eventlet_httpd.py
# Date: 2009-08-07
# Author: gashero

"""
一个使用eventlet作为底层的http服务器，测试一下性能
"""

from eventlet import api

def httpd(writer,reader):
    req=''
    while True:
        chunk=reader.readline()
        if not chunk:
            break
        req+=chunk
        if chunk=='\r\n':
            break
    data='Hello world!\r\n'
    writer.write('HTTP/1.1 200 OK\r\nContent-Length: %d\r\n\r\n%s'%(len(data),data))
    writer.close()
    reader.close()
    return

def main():
    try:
        server=api.tcp_listener(('0.0.0.0',3000))
        print 'Server started!'
        while True:
            conn,addr=server.accept()
            #print 'client %s connected!'%repr(addr)
            writer=conn.makefile('w')
            api.spawn(httpd,writer,conn.makefile('r'))
    except KeyboardInterrupt:
        pass
    return

if __name__=='__main__':
    main()

 

简单的说就是识别http请求报文结束，然后发送响应报文而已。

 

100并发时的apache ab性能测试结果：

 

Concurrency Level:      100
Time taken for tests:   17.710 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      5300000 bytes
HTML transferred:       1400000 bytes
Requests per second:    5646.57 [#/sec] (mean)
Time per request:       17.710 [ms] (mean)
Time per request:       0.177 [ms] (mean, across all concurrent requests)
Transfer rate:          292.25 [Kbytes/sec] received

 

1000并发时的apache ab性能测试结果：

 

Concurrency Level:      1000
Time taken for tests:   16.422 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      5300000 bytes
HTML transferred:       1400000 bytes
Requests per second:    6089.30 [#/sec] (mean)
Time per request:       164.223 [ms] (mean)
Time per request:       0.164 [ms] (mean, across all concurrent requests)
Transfer rate:          315.17 [Kbytes/sec] received

 

如上测试环境是分别在1G局域网内两台机器之间的测试，可不是同一台机器内部的测试 。而且，1000并发居然比100并发速度还要快一些。

 

下面给出一些对比数据，测试环境不同，但是数据不会相差太大：

1、大部分python web framework，600req/s

2、web.py，800req/s

3、曾经在土豆网用twisted写的htmid框架，2300req/s

4、nginx+mod_wsgi，2900req/s

5、eventlet，约5800req/s

 

当然，如上的服务器功能确实少了点，但是提供了这样一种基础，方便以后扩展。记得N年前看过一篇论文说服务器的发展是多进程=>多线程=>异步=>协程。而现在主流的高性能服务器都是基于异步的(lighttpd、nginx)，这次试了一下协程，效果果然不同凡响。

 

过段时间试试用eventlet提供服务器做个wsgi/http服务器来玩。

评论

9 楼 xiaoyao3857 2013-01-10  

好吧，我这个外行，现在想就用这段代码来实验一下，但是完全不知道怎么用？运行这个脚本，然后这个怎么发并发？怎么样能从控件台看到上面的控制台的输出？

8 楼 fengmk2 2009-11-19  

diesel的性能测试也很不错.

http://dieselweb.org
diesel is a framework for writing network applications using asynchronous I/O.

7 楼 mryufeng 2009-08-10  

这coroutine是不错 但是和erlang的process 和 port相比只是toy级别的。 erlang的进程和port都有调度，能够保证IO的公平， 同样的测试，在erlang下包含完整的http报文分析，普通的台式机器单cpu可以跑你2.5倍的效能了。

6 楼 joshzhu 2009-08-10  

再补充一句，此类IO密集型应用场合，问题的关键不在于是否是coroutine，而在于底层是否有个高性能的实现。

5 楼 joshzhu 2009-08-10  

1、虽然nginx是full featured的，但是不用mod_wsgi模块，我预测它的结果会轻易超过你的这个结果，我自己测的结果都是超10000的。

2、和mryufeng交流过后得出：对这个benchmark来说，性能最高的将是Erlang。

4 楼 gashero 2009-08-10  

我也写过一个erlang的http服务器的小例子来玩，当时跑到12300req/s。不过环境已经很不同了。再者就是这个服务器只能使用1个CPU核，前面加上负载均衡以后性能可以叠加。

关于与全攻能的http server的性能对比，我认为没多大意义。我现在是需要一个使用http协议的应用服务器，又不作静态文件服务。所以不需要考虑文件缓存、文件句柄管理等很多事情。只要协议解析够快，撑的并发数够高就行了。

3 楼 joshzhu 2009-08-10  

mryufeng(http://mryufeng.iteye.com)对Erlang做过和你差不多的测试，结果是16000+，不过是单机。BTW，这个测试和full featured的HTTP server来比，确实有点不公平。

2 楼 est 2009-08-07  

完成了测验能留言啊  


内存web服务器没有多少测的必要吧。。。囧。。。

1 楼 linac 2009-08-07  

这里测的只是网络性能。连最基本的http协议分析都没有。

协程就是异步的封装吧？