原创地址:http://jinnianshilongnian.iteye.com/blog/2190344
目录:
1.OpenRestry(Nginx+Lua)开发环境
2.OpenRestry开发入门
3.Lua模块开发
3.1 常用Lua开发库1-redis、mysql、http客户端 附-Redis/SSDB+Twemproxy安装与使用
3.2 常用Lua开发库2-JSON库、编码转换、字符串处理
3.3 常用Lua开发库3-模板渲染
4.实战
4.1 Web开发实战1——HTTP服务
4.2 Web开发实战2——商品详情页
4.3 流量复制/AB测试/协程
说明:本文目的是学习Nginx+Lua开发
***********************************************
对于Nginx基本知识可以参考如下文章:
《官方文档》http://wiki.nginx.org/Configuration
《nginx启动、关闭、重启》 http://www.cnblogs.com/derekchen/archive/2011/02/17/1957209.html
《agentzh 的 Nginx 教程》 http://openresty.org/download/agentzh-nginx-tutorials-zhcn.html
《Nginx+Lua入门》http://17173ops.com/2013/11/01/17173-ngx-lua-manual.shtml
《nginx 配置指令的执行顺序》http://zhongfox.github.io/blog/server/2013/05/15/nginx-exec-order/
《nginx与lua的执行顺序和步骤说明》http://www.mrhaoting.com/?p=157
《Nginx配置文件nginx.conf中文详解》http://www.ha97.com/5194.html
《Tengine的Nginx开发从入门到精通》http://tengine.taobao.org/book/
对于Lua基本知识可以参考如下文章:
《Lua简明教程》http://coolshell.cn/articles/10739.html
《Lua在线lua学习教程》http://book.luaer.cn/
《Lua 5.1 参考手册》http://www.codingnow.com/2000/download/lua_manual.html
《Lua5.3 参考手册》http://cloudwu.github.io/lua53doc/
***************************************************
Nginx Lua API
和一般的Web Server类似,我们需要接收请求、处理并输出响应。
对于请求:获取如请求参数、请求头、Body体等信息;
对于处理就是:调用相应的Lua代码即可;
对于输出响应:进行响应状态码、响应头和响应内容体的输出。
因此我们从如上几个点出发即可。
一. 接收请求
在Nginx-Lua配置文件内:接收,解析请求交由Lua处理
1. 编辑example.conf配置文件
vi /usr/server/example/example.conf
location ~ /lua_request/(\d+)/(\d+) {
#设置nginx变量:参数a的值是$1(第一个参数), b的值是 $host(前面的ip地址)
set $a $1;
set $b $host;
default_type "text/html";
#nginx内容处理
content_by_lua_file /usr/server/example/lua/test_request.lua;
#内容体处理完成后调用
echo_after_body "ngx.var.b $b";
}
2.test_request.lua
# vi /usr/server/example/lua/test_request.lua;
--nginx变量
local var = ngx.var
ngx.say("ngx.var.a : ", var.a, "<br/>") -- 1
ngx.say("ngx.var.b : ", var.b, "<br/>") -- ip
ngx.say("ngx.var[2] : ", var[2], "<br/>") -- 请求路径的第二个参数 2
ngx.var.b = 2; --设置b的值为2
ngx.say("<br/>")
-- 请求头
local headers = ngx.req.get_headers()
ngx.say("headers begin", "<br/>")
ngx.say("Host : ", headers["Host"], "<br/>")
ngx.say("user-agent : ", headers["user-agent"], "<br/>")
ngx.say("user-agent : ", headers.user_agent, "<br/>")
for k,v in pairs(headers) do
if type(v) == "table" then
ngx.say(k, " : ", table.concat(v, ","), "<br/>")
else
ngx.say(k, " : ", v, "<br/>")
end
end
ngx.say("headers end", "<br/>")
ngx.say("<br/>")
-- get请求uri参数
ngx.say("uri args begin", "<br/>")
local uri_args = ngx.req.get_uri_args()
for k, v in pairs(uri_args) do
if type(v) == "table" then
ngx.say(k, " : ", table.concat(v, ", "), "<br/>")
else
ngx.say(k, ": ", v, "<br/>")
end
end
ngx.say("uri args end", "<br/>")
ngx.say("<br/>")
--post请求参数
ngx.req.read_body()
ngx.say("post args begin", "<br/>")
local post_args = ngx.req.get_post_args()
for k, v in pairs(post_args) do
if type(v) == "table" then
ngx.say(k, " : ", table.concat(v, ", "), "<br/>")
else
ngx.say(k, ": ", v, "<br/>")
end
end
ngx.say("post args end", "<br/>")
ngx.say("<br/>")
--请求的http协议版本
ngx.say("ngx.req.http_version : ", ngx.req.http_version(), "<br/>") --1.1
--请求方法
ngx.say("ngx.req.get_method : ", ngx.req.get_method(), "<br/>") --get
--原始的请求头内容
ngx.say("ngx.req.raw_header : ", ngx.req.raw_header(), "<br/>")
--请求的body内容体
ngx.say("ngx.req.get_body_data() : ", ngx.req.get_body_data(), "<br/>")
ngx.say("<br/>")
ngx.var : nginx变量,如果要赋值如ngx.var.b = 2,此变量必须提前声明;另外对于nginx location中使用正则捕获的捕获组可以使用ngx.var[捕获组数字]获取;
ngx.req.get_headers:获取请求头,默认只获取前100,如果想要获取所以可以调用ngx.req.get_headers(0);获取带中划线的请求头时请使用如headers.user_agent这种方式;如果一个请求头有多个值,则返回的是table;
ngx.req.get_uri_args:获取url请求参数,其用法和get_headers类似;
ngx.req.get_post_args:获取post请求内容体,其用法和get_headers类似,但是必须提前调用ngx.req.read_body()来读取body体(也可以选择在nginx配置文件使用lua_need_request_body on;开启读取body体,但是官方不推荐);
ngx.req.raw_header:未解析的请求头字符串;
ngx.req.get_body_data:为解析的请求body体内容字符串。
如上方法处理一般的请求基本够用了。另外在读取post内容体时根据实际情况设置client_body_buffer_size和client_max_body_size来保证内容在内存而不是在文件中。
3.使用如下脚本测试:
http://192.168.1.106/lua_request/1/2?a=3&b=4
二.输出响应
1. 编辑example.conf配置文件# vi /usr/server/example/example.conf
location /lua_response_1 {
default_type "text/html";
content_by_lua_file /usr/server/example/lua/test_response_1.lua;
}
2.输出相关的属性点
# vi /usr/server/example/lua/test_response_1.lua
test_response_1.lua
-- 写响应头
ngx.header.a = "1"
-- 多个响应头可以使用table
ngx.header.b = {"2", "3"}
-- 输出响应
ngx.say("a", "b", "<br/>")
ngx.print("c", "d", "<br/>")
--200状态码退出
return ngx.exit(200)
测试:
http://192.168.1.106/lua_request
2.1
ngx.header:输出响应头;
ngx.print:输出响应内容体;
ngx.say:通ngx.print,但是会最后输出一个换行符;
ngx.exit:指定状态码退出。
2.2 ngx.redirect:重定向;
(1) example.conf配置文件
# vi /usr/server/example/example.conf
location /lua_response_2 {
default_type "text/html";
content_by_lua_file /usr/server/example/lua/test_response_2.lua;
}
(2) test_response_2.lua
vi /usr/server/example/lua/test_response_2.lua
ngx.redirect("http://jd.com", 302)
测试:
http://192.168.1.106/lua_response_2
2.3 ngx.status=状态码,设置响应的状态码;
2.4 ngx.resp.get_headers()获取设置的响应状态码;
2.5 ngx.send_headers()发送响应状态码,当调用ngx.say/ngx.print时自动发送响应状态码;可以通过ngx.headers_sent=true判断是否发送了响应状态码。
其他API
(1) example.conf配置文件
location /lua_other {
default_type "text/html";
content_by_lua_file /usr/example/lua/test_other.lua;
}
(2) test_other.lua
--未经解码的请求uri
local request_uri = ngx.var.request_uri;
ngx.say("request_uri : ", request_uri, "<br/>");
--解码
ngx.say("decode request_uri : ", ngx.unescape_uri(request_uri), "<br/>");
--MD5
ngx.say("ngx.md5 : ", ngx.md5("123"), "<br/>")
--http time
ngx.say("ngx.http_time : ", ngx.http_time(ngx.time()), "<br/>")
测试:
http://192.168.1.106/lua_other
ngx.escape_uri/ngx.unescape_uri : uri编码解码;
ngx.encode_args/ngx.decode_args:参数编码解码;
ngx.encode_base64/ngx.decode_base64:BASE64编码解码;
ngx.re.match:nginx正则表达式匹配;
更多Nginx Lua API请参考 http://wiki.nginx.org/HttpLuaModule#Nginx_API_for_Lua。
三.Nginx全局内存
Nginx是一个Master进程,多个Worker进程的工作方式,可能需要在多个Worker进程中共享数据,那么此时就可以使用ngx.shared.DICT来实现全局内存共享。
1.首先在nginx.conf的http部分分配内存大小
# vi /usr/local/nginx/conf/nginx.conf
#共享全局变量,在所有worker间共享
lua_shared_dict shared_data 1m;
2.example.conf配置文件
# vi /usr/server/example/example.conf
location /lua_shared_dict {
default_type "text/html";
content_by_lua_file /usr/server/example/lua/test_lua_shared_dict.lua;
}
3.test_lua_shared_dict.lua
--1、获取全局共享内存变量
local shared_data = ngx.shared.shared_data
--2、获取字典值
local i = shared_data:get("i")
if not i then
i = 1
--3、惰性赋值
shared_data:set("i", i)
ngx.say("lazy set i ", i, "<br/>")
end
--递增
i = shared_data:incr("i", 1)
ngx.say("i=", i, "<br/>")
测试:
http://192.168.1.106/lua_shared_dict
更多API请参考http://wiki.nginx.org/HttpLuaModule#ngx.shared.DICT。
到此基本的Nginx Lua API就学完了,对于请求处理和输出响应如上介绍的API完全够用了,更多API请参考官方文档。
四. Nginx Lua模块指令
Nginx共11个处理阶段,而相应的处理阶段是可以做插入式处理,即可插拔式架构;另外指令可以在http、server、server if、location、location if几个范围进行配置:
指令 |
所处处理阶段 |
使用范围 |
解释 |
init_by_lua init_by_lua_file |
loading-config |
http |
nginx Master进程加载配置时执行; 通常用于初始化全局配置/预加载Lua模块 |
init_worker_by_lua init_worker_by_lua_file |
starting-worker |
http |
每个Nginx Worker进程启动时调用的计时器,如果Master进程不允许则只会在init_by_lua之后调用; 通常用于定时拉取配置/数据,或者后端服务的健康检查 |
set_by_lua set_by_lua_file |
rewrite |
server,server if,location,location if |
设置nginx变量,可以实现复杂的赋值逻辑;此处是阻塞的,Lua代码要做到非常快; |
rewrite_by_lua rewrite_by_lua_file |
rewrite tail |
http,server,location,location if |
rrewrite阶段处理,可以实现复杂的转发/重定向逻辑; |
access_by_lua access_by_lua_file |
access tail |
http,server,location,location if |
请求访问阶段处理,用于访问控制 |
content_by_lua content_by_lua_file |
content |
location,location if |
内容处理器,接收请求处理并输出响应 |
header_filter_by_lua header_filter_by_lua_file |
output-header-filter |
http,server,location,location if |
设置header和cookie |
body_filter_by_lua body_filter_by_lua_file |
output-body-filter |
http,server,location,location if |
对响应数据进行过滤,比如截断、替换。 |
log_by_lua log_by_lua_file |
log |
http,server,location,location if |
log阶段处理,比如记录访问量/统计平均响应时间 |
更详细的解释请参考http://wiki.nginx.org/HttpLuaModule#Directives。如上指令很多并不常用,因此我们只拿其中的一部分做演示。
4.1 init_by_lua
作用:每次Nginx重新加载配置时执行,可以用它来完成一些耗时模块的加载,或者初始化一些全局配置;
在Master进程创建Worker进程时,此指令中加载的全局变量会进行Copy-OnWrite,即会复制到所有全局变量到Worker进程。
1、配置nginx.conf文件中
在http部分添加如下代码
#共享全局变量,在所有worker间共享
lua_shared_dict shared_data 1m;
init_by_lua_file /usr/server/example/lua/init.lua;
2、init.lua
# vi /usr/server/example/lua/init.lua
--初始化耗时的模块
local redis = require 'resty.redis'
local cjson = require 'cjson'
--全局变量,不推荐
count = 1
--共享全局内存
local shared_data = ngx.shared.shared_data
shared_data:set("count", 1)
3、test.lua:
vi /usr/server/example/lua/test.lua
count = count + 1
ngx.say("global variable : ", count)
local shared_data = ngx.shared.shared_data
ngx.say(", shared memory : ", shared_data:get("count"))
shared_data:incr("count", 1)
ngx.say("hello world")
4、访问如http://192.168.1.106/lua会发现全局变量一直不变,而共享内存一直递增
global variable : 2 , shared memory : 8 hello world
注意:此处需设置 lua_code_cache on,才会递增
lua_code_cache默认是开启的,测试时候关闭可以不用重启即生效,一定在生产环境开启 lua_code_cache ,否则每个请求都会创建Lua VM实例。
4.2 init_worker_by_lua
作用:用于启动一些定时任务,比如心跳检查,定时拉取服务器配置等等;
此处的任务是跟Worker进程数量有关系的,比如有2个Worker进程那么就会启动两个完全一样的定时任务。
1.nginx.conf配置文件中的http部分添加如下代码
init_worker_by_lua_file /usr/server/example/lua/init_worker.lua;
2.init_worker.lua
# vi /usr/server/example/lua/init_worker.lua
local count = 0
local delayInSeconds = 3
local heartbeatCheck = nil
heartbeatCheck = function(args)
count = count + 1
ngx.log(ngx.ERR, "do check ", count)
local ok, err = ngx.timer.at(delayInSeconds, heartbeatCheck)
if not ok then
ngx.log(ngx.ERR, "failed to startup heartbeart worker...", err)
end
end
heartbeatCheck()
ngx.timer.at:延时调用相应的回调方法;
ngx.timer.at(秒单位延时,回调函数,回调函数的参数列表);
可以将延时设置为0即得到一个立即执行的任务,任务不会在当前请求中执行不会阻塞当前请求,而是在一个轻量级线程中执行。
说明:当存在多个工作线程时,会打出多个输出;
另外根据实际情况设置如下指令
lua_max_pending_timers 1024; #最大等待任务数
lua_max_running_timers 256; #最大同时运行任务数
4.3 set_by_lua
相关推荐
本篇内容将围绕 OpenResty 入门和最佳实践进行详细讲解。 首先,对于想要入门 OpenResty 的初学者来说,了解 Lua 语言是必须的。Lua 是一种轻量级的脚本语言,易于学习,它提供了丰富的数据类型和控制结构,以及...
根据提供的文件内容,本文将从OpenResty和Lua的技术实践角度来深入分析和总结知识点。 ### OpenResty简介 OpenResty是基于Nginx与LuaJIT的高性能Web平台,将Nginx和Lua语言相结合,通过Lua脚本提供强大的可编程性,...
在OpenResty中,Lua环境的搭建是入门的基础,包括了对Lua基础语法的学习,如数据类型、表达式、控制结构、函数定义、模块化编程等。这要求开发者熟悉Lua语言的核心特性,比如它的基本数据类型(字符串、数字、布尔值...
这本书从入门开始,逐渐深入到操作多种数据库,如Redis和MySQL,是想要了解和掌握OpenResty的读者的重要参考。 本书的标题“OpenResty最佳实战”预示了内容将聚焦于实用技能的讲解。首先,作者会对OpenResty及其...
#### 二、入门篇:Socket 编程发展与 OpenResty 特性 1. **Socket 编程的发展**:传统的网络编程主要依赖于 Socket API 进行网络通信,但随着 Web 技术的发展,现代应用对性能和可扩展性的需求越来越高。因此,...
《Nginx开发从入门到精通》是一本深入解析Nginx技术的书籍,适合对Web服务器技术感兴趣的初学者和进阶者。Nginx是一款高性能的HTTP和反向代理服务器,广泛应用于互联网领域的网站部署和负载均衡。本书旨在帮助读者...
### Nginx模块开发入门详解 #### Nginx概述与市场地位 Nginx作为一款高性能的HTTP服务器和反向代理服务器,在全球范围内享有极高的声誉。根据权威机构W3Techs的数据,截至某一时间点,全球排名前100万的网站中,...
#### 入门篇:了解 OpenResty ##### Socket 编程发展 **Socket 编程** 是计算机网络通信的基础技术之一,它允许不同主机间通过网络进行数据交换。OpenResty 基于 Nginx 的核心优势之一就是其高效处理 Socket 连接...
本资料包"微服务Api网关框架11-20.7z"主要探讨了基于OpenResty的API网关实现,通过一系列视频教程深入解析了相关技术。 首先,"14.openresty背景介绍.mp4"可能涵盖了OpenResty的基本概念和应用场景。OpenResty是一...
Kong是一个高可用、易扩展的API网关项目,其核心基于OpenResty构建,利用了Nginx的高性能和Lua语言的灵活性。Kong的设计允许它轻松应对大量网络请求,并且可以水平扩展,实现多个Kong服务器的集群部署。它通过负载...
**入门级应用安全**:首先,建立基于Openresty的分布式WAF环境,使用Nginx集群反向代理,用lua编写WAF Agent核心引擎,通过正则表达式进行规则匹配,同时用Python构建WAF Server进行规则管理和配置下发。...
《跟我学Nginx+Lua开发》是一本针对Nginx与Lua结合使用的教程书籍,旨在帮助读者理解如何利用这两种技术进行高效且灵活的Web应用开发。Nginx作为一款广泛使用的高性能HTTP服务器和反向代理服务器,在处理高并发连接...
针对新手,Nginx的基础入门知识主要集中在理解其安装、配置、启动和停止等操作。对于有一定基础的使用者,可能需要深入学习Nginx的高级特性,如SSL/TLS加密、WebSocket代理、限速策略、缓存控制等。 在具体应用中,...
这部分内容会介绍OpenResty(一个集成LuaJIT的Nginx发行版)的使用,以及如何编写Lua脚本来增强Nginx的功能。 5. **架构解析:** 了解Nginx的内部工作原理,如连接处理、请求分发、内存池管理等。这有助于优化...
技术 | 名称 | 官网 ----|------|---- Spring Framework | 容器 | [http://projects.spring.io/spring-framework/](http://projects.spring.io/spring-framework/) SpringMVC | MVC框架 | ...