京东活动系统--openresty实践之路

moon_walker

浏览: 254716 次
性别:
来自: 成都

最近访客更多访客>>

zhy584520

aichenglong

xiuyibin

ddty03

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

架构 openresty lua

背景

先来说下今天的主角openresty，它是一个基于 Nginx 与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。可以使用Lua编写脚本，然后部署到Nginx Web容器中运行。利用nginx的高并发处理能力，轻松构建自己的高性能的Web服务。

但个人觉得，使用lua编写一些复杂业务逻辑不是它的专长，编写成本也比较高。现有业务的web系统，大多还是以java、c#等为主。如要完全改为lua实现，几乎不可能完成。

上一篇分享《京东活动系统亿级流量架构应对之术》的核心，其实是活动页面的浏览与页面的渲染的异步化。即：活动页面在被浏览时，view工程直接从redis或者硬盘获取已经在engine工程被渲染好的页面返回。简而言之，就是通过engine工程提前渲染好页面，实现页面全静态化。保证view工程每次请求都直接获取静态页面返回，无需等待页面渲染。

这样复杂的业务逻辑已经被完全剥离到engine工程。view工程可以采用nginx+lua+redis+硬盘实现自己的高性能web服务。最终架构如下：

其中，硬盘和redis互为主备，做一个开关相互切换。

lua+redis 字符串压缩

engine工程采用java把静态html字符串放入redis，view工程再采用lua从redis中获取。这里本身没有问题，但是由于活动页面的内容较多，一个静态页面html动辄几百kb，大的甚至几兆。存取速度势必会很慢，很自然的会想到压缩。

在view工程没有引入openresty之前，我们所有的活动页面都是采用的java的gzip（GZIPInputStream和GZIPOutputStream）来进行压缩和解压，也收到很好的收益，并且待压缩内容越长压缩效果越是明显。存入redis前先用GZIPInputStream压缩，把压缩后的字节数组存入redis（在engine中完成）。view工程从redis中取出，再用GZIPOutputStream解压，还原成正常的活动页面静态html字符串返回。如下：

现在要把view工程改为用openresty实现，难点就在于用lua从redis中取出字符串的内容是用gzip压缩后的，直接返回是乱码。通过查找资料，lua可以调用zlib来实现对字符串的压缩和解压（参考

https://github.com/brimworks/lua-zlib）。

在engine工程压缩端把gzip压缩方式改成zlib压缩、并存入redis（java zlib压缩可以参考http://snowolf.iteye.com/blog/465433）。view工程就可以直接从redis中获取，再通过zlib解压即可。但由于redis已存在大量gzip压缩的活动页，这种方式没办法实现平滑过渡。

通过分析gzip和zlib，可以发现他们本质上都是deflate算法进行压缩。只是gzip相对于zlib会多一个描述头部，如果直接用lua-zlib解压gzip压缩的内容，头部会多出一段乱码，其余内容完全一样。我们直接去掉这部分乱码头部即可：

lua实现如下：

nginx.conf配置如下：

location  ~ ^/act/(\w+)\.html{
      default_type "text/html";
      charset utf-8,gbk;
      set $shortUrl $1;
      content_by_lua_file /export/app/view/page_view_redis.lua;
    }

/export/app/view/page_view_redis.lua代码如下：

local redis_pool = require "redis_pool" -- lua redis缓存池封装
local zlib = require "zlib"
local stream = zlib.inflate()
local key = "pc-page-cache-key-"..ngx.var.shortUrl
local red = redis_pool:new()
local res, err = red:get(key)
if res ~= nil then
    -- 解压, page内容为："xxxxxx<html><header></header><body>test page</body></html>"其中xxxxx即为gzip压缩的乱码头
    local page=stream(res);
    -- 去掉乱码头
    local h1,h2=string.find(r, "<html>")
 
page= string.sub(page,h1)
    -- 返回页面内容
    ngx.say(page)
end
ngx.say("页面不存在")
ngx. ngx.exit(200)

lua+硬盘

先说下，静态活动页面存硬盘：

1、engine：渲染页面完成；

2、engine：页面内容存入redis；

3、engine：根据活动url hash规则，向指定的view服务器发送数据推送请求；

4、view：view服务器收到请求，从redis中获取页面内容存到指定目录下。

步骤4中，从redis中取出，还是要先进行解压，再存储到指定目录，lua代码如下：

nginx.conf配置：

# engine 发起的保存页面到本地硬盘请求
    location  ~ ^/save/(\w+)\.html{
      default_type "text/html";
      charset utf-8,gbk;
      set $key $1;
      content_by_lua_file /export/app/view/save_disk.lua;
    }

/export/app/view/save_disk.lua代码内容如下：

local redis_pool = require "redis_pool" -- lua redis缓存池封装
local util_tools = require "util_tools"
local zlib = require "zlib"
local stream = zlib.inflate()
 
local key = "pc-page-cache-key-"..ngx.var.shortUrl
local red = redis_pool:new();
local res, err = red:get(key)
if res ~= nil then
    -- 解压, page内容为："xxxxxx<html><header></header><body>test page</body></html>"其中xxxxx即为gzip压缩的乱码头
    local page=stream(res);
    -- 去掉乱码头
    local h1,h2=string.find(page, "<html>")
    page= string.sub(page,h1)
 
    -- 通过md5(uri),构造存储目录和文件名
    local pageUri="/act/"..ngx.var.shortUrl..".html"
    local filePath,pageName = util_tools:get_abpath(pageUri)
    local file,err=io.open(filePath)
    if not file then  --如果文件目录不存在，就先创建
        os.execute("mkdir -p "..filePath)
    end
    local f = assert(io.open(filePath..pageName,'w')) --写入硬盘文件中
    f:write(page) -- 存储页面
    f:close()
end
ngx.exit(200)

util_tools.lua代码内容：

local rootPath="/export/static/page/"
local uri_pre = "page"
 
local util_tools = {}
 
-- get static html page
-- 如md5(url)=xxxxxxabc,最终的页面内容存放到："/export/static/page/c/ab/xxxxxxabc",拼装的新uri为：/page/c/ab/xxxxxxabc
function util_tools:get_path(url)
    local md5path = ngx.md5(url)
    local pathlen = string.len(md5path)
    local path1 = string.sub(md5path,-1)
    local path2 = string.sub(md5path,pathlen-2,-2)
    local abPathFile = uri_pre.."/"..path1.."/"..path2.."/"..md5path
    return abPathFile
end
 
-- get static html page path and name
--类似nginx proxy cache对文件的存储结构，把链接先md5，取后三位字符串，拼成文件存放目录
--存取文件：如md5(url)=xxxxxxabc,最终的页面内容存放到："/export/static/page/c/ab/xxxxxxabc"
function util_tools:get_abpath(url)
    local md5path = ngx.md5(url)
    local pathlen = string.len(md5path)
    local path1 = string.sub(md5path,-1)
    local path2 = string.sub(md5path,pathlen-2,-2)
    local abPathFile = rootPath.."/"..path1.."/"..path2.."/"
    return abPathFile,md5path
end
return util_tools

步骤3中的url hash规则讲解：由于京东活动页面较多，所有在线的活动静态页面大小已经超过10G。如果把如此大量的数据存放到每台sale服务上，是不可取的。

首先不方便扩展，随着京东业务快速增长，活动数据也会快速增加，而硬盘大小始终有限。

其次，在用lua读取静态页面时，从如此大量的静态文件中查找也会增加耗时。通过活动url规则进行hash，把这些活动页面内容平均分配到不同sale服务器分组，是我们目前采取的方式。其中还涉及到sale服务器主备分组，这里就不再详细讲解，后面单独再做一次分享。

再说下从硬盘获取，根据url拼装出文件存放路径，直接从本地硬盘获取即可。代码如下：

location  ~ ^/act/(\w+)\.html{
      default_type "text/html";
      charset utf-8,gbk;
      set $shortUrl $1;
      content_by_lua_file /export/app/view/page_view_redis.lua;
    }
/export/app/view/page_view_redis.lua代码内容：
local util_tools = require "util_tools"
-- 如果链接为http://sale.jd.com/act/Ok70VSmKFZo1Weca.html,pageUri为：
-- /act/Ok70VSmKFZo1Weca.html
local pageUri="/act/"..ngx.var.key..".html"
local abpath = util_tools:get_abpath(pageUri)
--abpath相对路径 规则为：/page/c/ab/xxxxxxabc
local resSta = ngx.location.capture(abpath)
if resSta.status == ngx.HTTP_OK then  --读取到硬盘
    if resSta.body ~= nil and resSta.body ~= "nil" and resSta.body ~= "" then
        ngx.say(resSta.body) --返回页面内容
        return ngx.exit(200)
    end
end