【淘宝Web服务器 Tengine】

Tengine是由淘宝网发起的Web服务器项目。开发语言:C/C++。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

 

 

Nginx是近几年脱颖而出的一个非常优秀的Web服务器， 它以资源消耗低、 并发能力强著称， 现在是世界上第三大Web服务器。 在淘宝， 我们用它来服务静态文件、PHP动态页面，做反向代理和负载均衡等。根据淘宝的实际需求，我们开发了数十个不同用途的模块。但随着使用的增多，它的一些不足和有待改进的地方也逐渐凸显。例如，Nginx不支持动态模块加载，不同的应用往往需要编译不同的RPM包，从而导致运维比较麻烦；Nginx欠缺输入请求体过滤器机制，从而使得开发安全模块比较困难；不支持Syslog的方式发送日志， 导致日志管理烦琐等。Nginx缺少的这些功能都不能通过开发第三方模块来实现， 因此我们开始对它的核心进行深度定制和开发。另外，我们在Web服务器领域也积累了一些经验和创新性的想法， 希望在Nginx优秀的基础上， 继续加强它的性能、安全和可运维性。这就是Tengine项目的由来。

 

Tengine对Nginx主要改进模块

应用模块：concatuser_agentfooterslice

upstream模块：upstream_check

框架模块和Web开发：Lua

管理模块：backtracesysguardtraffic status

核心补丁或模块：dsoinput body filtersyslog CPU affinity procs

数据结构：4-heap， trie

 

计时器优化

Timers（计时器）是网络服务器中一个很重要的基础设置，用来管理读写超时和应用逻辑的超时等。其常见操作有添加超时、删除超时以及查找最小的超时值。Nginx使用Red-black tree（红黑树）作为其计时器的数据结构。红黑树对应于添加、删除和查找最小值的算法复杂度都是O(logn)。在Tengine中，我们将Nginx的计时器数据结构改为了4-heap（四叉最小堆）。四叉堆是二叉堆的变种， 比二叉堆有更浅的深度和更好的CPUCache命中率。 最小堆的添加、 删除的复杂度和红黑树一样都是O(log n)，但在查找最小值时， 它的算法复杂度是O(1)，即只要取出堆顶的第一个元素即可， 因此比Nginx的红黑树更适合频繁获取最小值的场景，特别是在处理大量连接时，用最小堆性能提升比较明显。

 

浏览器和爬虫的判断优化

 

判断浏览器的类型是Web服务器的一个常见需求。Nginx中判断浏览器的方法是对关注的浏览器种类在User-Agent头中做暴力查找（strstr）。strstr本身的算法复杂度是O(n^2)，Nginx查找的是多个串， 因此其最终算法复杂度是O(n^3)。随着现在移动端的浏览器增多，原有模块的复杂度成指数增长，性能不高。在Tengine中，我们开发了一个全新的user_agent模块，使用了trie（前缀树）来搜索多个可能的浏览器匹配串。它将所有的匹配字符串构造出一个自动机， 每次匹配， 它的算法复杂度只需要O(n)。因此复杂度不会随着匹配串数量的增加而增加。

 

自动绑定CPU亲缘性

原有的Nginx CPU绑定需要手工操作， 在Tengine中我们将Worker进程和CPU进行自动绑定，可以减少因CPU的Cache失效带来的性能损失， 从而提高性能。 另外， 这样也减少了运维配置的工作量。Tengine对Nginx机制的增强则包含以下几个方面。

 

Lua模块

基于降低Nginx模块开发难度的初衷，Lua模块（ngx_lua）将Lua嵌入进Nginx核心中，借助于Lua的协程和Nginx的事件模型实现同步、非阻塞的I/O操作，开发者在Nginx配置文件中可串行同步编写Lua脚本来处理业务逻辑，既可以用它来黏合各种上游（Proxy、Drizzle、Redis、Memcached等）的输出， 也可以使用它的Cosocket接口来编写访问上游的客户端。得益于Lua解释器极低的开销和JIT技术（LuaJIT） ，用户不用编写复杂的C模块就能获得极高的吞吐性能。 也可以动态更改逻辑， 不用再重新编译Nginx代码， 从而带来了极大的灵活性。Lua模块在初始化时为每个Nginx工作进程创建一个Lua/LuaJIT实例（Lua VM） ， 同一进程处理的所有请求将共享该实例， 并且Lua模块将用户Lua代码包装为协程工厂缓存在Nginx内，一个请求到来时协程工厂为它分配一个独立协程来运行业务逻辑。在需要进行阻塞的I/O操作时，Lua模块自动将I/O操作委托给Nginx的事件处理模型，并保存正在运行的协程上下文，返回到Nginx工作进程中处理其他请求，等到I/O操作完成时，又会恢复该协程继续运行。

 

 

动态模块支持

 

Tengine中加入了动态模块功能， 对模块实现了动态编译， 加入模块不再需要静态编译整个Tengine代码。使用方法类似Apache，在使用时可以当场动态编译想加入的模块， 非常方便。1. 我们提供类似apxs的编译工具，将模块编译成动态链接库。2. 在Tengine启动时通过动态链接库读入模块的模块结构体，这个结构体包含了模块处理的所有信息。3. Tengine有内置的模块加载顺序表， 也可在配置文件中显式的指定模块的加载顺序，保证模块加载顺序正常。4. Tengine内部通过两个版本号 （Major和Minor）来控制动态链接库（.so文件）的前后兼容性。当Major版本号相同时，较新版本的Tengine兼容较旧版本的.so文件（Tengine的Minor大于.so文件）。只有当Tengine的API发生重大变化时，Major的版本号才发生变化。增加新的API只会增加Minor版本号。

 

 

 

输入体过滤器支持

Nginx没有对请求主体内容的过滤机制，而且在处理较大请求时，可能会缓存到磁盘的临时文件上，因此对输入体的分析和过滤很不方便。Tengine中增加了对于读取用户请求输入体的回调函数，该函数优先于缓存磁盘执行。在收到请求体时会调用这个回调函数，可以方便地对上传的内容进行过滤。而且所有输入体过滤器以链式流程处理。

 

开启额外进程的机制

Tengine中可以方便地启动进程， 这些进程可以独立于原有Nginx工作进程，用来执行某些特殊逻辑 （例如非HTTP的应用场景） 。 该机制在Tengine中增加了一种全新的模块类型，可以开发多个不同用途的进程模块。

 

对Syslog和管道日志的支持

Syslog功能对于集中式的日志管理非常有用，因此现有大部分的服务器软件都支持Syslog功能。Tengine可以将错误日志和访问日志发送到本地或远程的Syslog服务器。 我们完全实现了底层Syslog的协议（使用UDP） ，解决了Syslog接口阻塞的问题。Tengine也支持通过管道方式将日志写到另一个程序， 如Cronolog。 此外， 在Tengine中， 还可以对日志进行抽样，例如只记录1%的日志，从而降低对磁盘I/O的压力， 对繁忙的业务颇有用处。

 

API的增强

Tengine对Nginx的API进行了扩充， 如内存操作、HTTP头处理等， 以简化模块开发的难度。目前Tengine比Nginx增加功能模块主要有下面一些。

 

Concat模块

可以组合多个JavaScript和CSS请求变成一个， 从而降低下载时间， 提高用户体验。 该模块对于提高前端的响应时间非常有用。

 

Sysguard模块

在系统的Load或者内存（Swap）使用超过一定阈值或比例时返回等待页面， 从而保护服务器。User_agent模块利用trie结构，扫描浏览器和爬虫的种类，定义os变量， 比Nginx的Browser模块更加灵活且性能更高。

 

Footer模块

在响应内容后添加一段内容。 可用来添加Host信息，对定位大量服务器中出问题的个别机器很有用。

 

Slice模块

用来访问一个文件中的一个片段，可以指定开始和结束的偏移值也可以增加头和尾。

 

Backtrace模块

在遇到异常如崩溃时将调用栈输出到日志以便于问题定位。

 

主动式Upstream健康检查模块

可以对后端的HTTP、 HTTPS、 MySQL等类型的服务器定期发起心跳包，维护后端的健康情况，当服务器不可用时，就不再向其发送实际请求。实现了Tengine与后端服务器的高可用。针对易运维性， 我们在几个方面对Tengine进行增强， 表2是Nginx与Tengine的对比。

 

Tengine目前正在做的改进还包括以下方面。

负载均衡的增强如更多负载均衡算法和云的支持等，一致性Hash模块、Session保持模块、 后端连接数限制模块、 随机负载均衡模块等。

Cache功能增强，主要是内存Cache的支持，降低高并发对磁盘I/O带来的影响。

更强的统计模块，可以根据端口或者域名统计流量、 连接数等有用的信息。

 

 

特性

继承Nginx-1.8.1的所有特性，兼容Nginx的配置；

动态模块加载（DSO）支持。加入一个模块不再需要重新编译整个Tengine；

支持HTTP/2协议，HTTP/2模块替代SPDY模块；

流式上传到HTTP后端服务器或FastCGI服务器，大量减少机器的I/O压力；

更加强大的负载均衡能力，包括一致性hash模块、会话保持模块，还可以对后端的服务器进行主动健康检查，根据服务器状态自动上线下线，以及动态解析upstream中出现的域名；

输入过滤器机制支持。通过使用这种机制Web应用防火墙的编写更为方便；

支持设置proxy、memcached、fastcgi、scgi、uwsgi在后端失败时的重试次数

动态脚本语言Lua支持。扩展功能非常高效简单；

支持按指定关键字(域名，url等)收集Tengine运行状态；

组合多个CSS、JavaScript文件的访问请求变成一个请求；

自动去除空白字符和注释从而减小页面的体积

自动根据CPU数目设置进程个数和绑定CPU亲缘性；

监控系统的负载和资源占用从而对系统进行保护；

显示对运维人员更友好的出错信息，便于定位出错机器；

更强大的防攻击（访问速度限制）模块；

更方便的命令行参数，如列出编译的模块列表、支持的指令等；

可以根据访问文件类型设置过期时间；