`
eric_weitm
  • 浏览: 242806 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

redis lua 库积累

 
阅读更多
-- lua脚本要求所有的功能,不依赖内部或外部的状态
-- cd /root/workspace/java
-- /usr/local/redis/bin/redis-cli -p 6379 --ldb --eval api.lua r , PRE
-- /usr/local/redis/bin/redis-server 6379.conf
-- /usr/local/redis/bin/redis-cli shutdown

local keys = KEYS
local args = ARGV
local Wtm = {}      -- Wtm library

Wtm.serialize = function(obj)
    local lua = ""
    local t = type(obj)
    if t == "number" then
        lua = lua .. obj
    elseif t == "boolean" then
        lua = lua .. tostring(obj)
    elseif t == "string" then
        lua = lua .. string.format("%q", obj)
    elseif t == "table" then
        lua = lua .. "{\n"
    for k, v in pairs(obj) do
        lua = lua .. "[" .. serialize(k) .. "]=" .. serialize(v) .. ",\n"
    end
    local metatable = getmetatable(obj)
        if metatable ~= nil and type(metatable.__index) == "table" then
        for k, v in pairs(metatable.__index) do
            lua = lua .. "[" .. serialize(k) .. "]=" .. serialize(v) .. ",\n"
        end
    end
        lua = lua .. "}"
    elseif t == "nil" then
        return nil
    else
        error("can not serialize a " .. t .. " type.")
    end
    return lua
end

Wtm.log = function ( v )
	redis.log(redis.LOG_WARNING, serialize(v))
end

--usage: redis-cli --eval api.lua k1 , PRE
Wtm.uuid = function (pid)
	-- pid 机器id占4位,左移16位
	local idxNum = redis.call("INCR", "ID_IDX") % 65535

	--获取当前时间戳(秒),左移20位
	local sec = redis.call("TIME")[1]
	return sec*1048576+pid*65536+idxNum
end

Wtm.split = function (str)
	local splitlist = {}  
	string.gsub(str, '[^%s]+', function(w) table.insert(splitlist, w) end ) 
	return splitlist
end

Wtm.callstr = function (str)
	local x = Wtm.split(str)
	local ret = redis.call(unpack(x))
	return ret
end

Wtm.callstrarr = function (arr)
	local retarr = {}
	local fd = ''
	for k,v in pairs(arr) do
		redis.debug(v)
		-- redis.breakpoint()
		fd = string.find(v, "#")
		-- redis.debug(fd)
		if (fd == nil) then
			-- redis.debug('ok run')
			local ret = Wtm.callstr(v)
			table.insert(retarr, ret)
		end
	end
	
	return retarr
end

Wtm.runlstr = function (longstr )
	local splitlist = {}  
	-- 先切分成数组
	string.gsub(longstr, '[^\r\n\t]+', function(w) table.insert(splitlist, w) end ) 
	local ret = Wtm.callstrarr(splitlist)

	return ret
end

Wtm.scanall = function ()
	local retarr = {}
	local ret = ''
	local index = '0'	
	while(true)
	do 
		ret = redis.call('scan',index)
		redis.debug(ret[1])
		redis.debug(ret[1] == '0')
		redis.debug(retarr)
		table.insert(retarr, ret[2])

		if (ret[1] == '0') then break end
		redis.breakpoint()
		index = ret[1]
	end
	-- redis.debug(retarr)
	return retarr
end

Wtm.limit_rate = function(ip)
	local ret = 0  --  正常

	local current = redis.call("incr", ip)
	if tonumber(current) == 1 then
    	redis.call("expire", ip, 10) -- 设置超时时间10s
	end
	
	if tonumber(current) > 10 then
    	ret = 1
	end
	-- redis.debug(redis.call("get", ip))
	return ret
end

local function test_key(prefix)
	-- 种子必须要自己从外部设置,value要随机可以使用redis命令
	-- math.randomseed(tostring(os.time()):reverse():sub(1, 7))
	redis.call('flushall')
	prefix = args[1]
	local ret = {}
	for i=1,10 do
		redis.call('set', prefix .. i, math.random(1,100) +2)
	end

	redis.call('del', prefix .. 2)
	redis.call('expire', prefix .. 3, 30)

	for i=1,10 do
		ret[i] = redis.call('get', prefix .. i)
	end

	redis.debug(ret,1)
	if redis.call('exists', prefix .. 3) then
		redis.debug('ok')
	end

	local status = redis.call('ttl', prefix .. 3)

	-- 排序
	local cmds = {
		'rpush numbers 1 3 5 7 9',
		'rpush numbers 2 4 6 8 10',
		'SORT numbers STORE sorted-numbers',
		'lrange sorted-numbers 0 -1'
	}
	local retu = Wtm.callstrarr(cmds)
	redis.debug(retu)
	
	-- redis.breakpoint()
	redis.call('flushall')
	-- callstr('HMSET user_info_1 name admin level 9999')
	local cmds = {
		'HMSET user_info_1 name admin level 9999',
		'HMSET user_info_2 name jack level 10',
		'HMSET user_info_3 name peter level 25',
		'HMSET user_info_4 name mary level 70',
		'SORT uid BY user_info_*->level',
		'SORT uid BY user_info_*->level GET user_info_*->name',
		'hgetall user_info_1',
		'hgetall user_info_4'
	}

	local retu = Wtm.callstrarr(cmds)
	redis.debug(retu)
	-- redis.breakpoint()

	cmds = [[
		HMSET user_info_1 name admin level 0.01
		HMSET user_info_2 name jack level 0.10
		HMSET user_info_3 name peter level 0.25
		keys user_info_*
		hgetall user_info_4
		 hgetall user_info_1
		 expire user_info_1 1000
		 ttl user_info_1
		 ttl user_info_4
		 ttl user_info_0
		]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	ret = Wtm.scanall()

	return ret
end

local function test_str()
	local ret = ''
	for i=1,100 do
		ret = Wtm.limit_rate('10.88.147.26')
		redis.debug(ret)
	end

	local cmds = [[
		#append拼接字符串
		append serials 0001
		append serials 0002
		append serials 0003
		GETRANGE serials 0 3
		GETRANGE serials 4 7
		GETRANGE serials 8 11
		
		#bit计数
		SETBIT user1 0 1 
		SETBIT user1 4 1
		BITCOUNT user1

		# bit按位操作
		SETBIT bits-1 0 1
		SETBIT bits-1 3 1 
		SETBIT bits-2 0 1
		SETBIT bits-2 1 1
		SETBIT bits-2 3 1
		BITOP AND and-result bits-1 bits-2
		GETBIT and-result 0
		GETBIT and-result 1
		GETBIT and-result 2
		GETBIT and-result 3

		# 递减
		GETSET failure_times 10
		DECR failure_times
		DECRBY failure_times 20
		
		SET greeting hello
		SETRANGE greeting 4 "Redis"
		STRLEN greeting
		MSET date 2012.3.30 time 11:00a.m. weather sunny
		MGET date time weather

		MSETNX rmdbs MySQL nosql MongoDB key-value-store redis
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end

local function test_hash()
	local ret = ''
	local cmds = [[
		HSET website google www.g.cn
		HSET website baidu www.baidu.com
		HSETNX website qq www.qq.com
		HGET website google
		HGETALL website
		HEXISTS website google
		HDEL website google
		HLEN website
		HKEYS website
		HVALS website

		HMSET pet dog doudou cat nounou
		HMGET pet dog cat fake_pet
		HINCRBY counter page_view 200
		HGET counter page_view
		# e是10的指数
		HSET mykey field 5.0e3
		HINCRBYFLOAT mykey field 2.0e-2
		HGET mykey field
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end

local function test_list()
	local ret = ''
	local cmds = [[
		# 左边为前
		# lpush lpop 栈, rpush rpop是队列,  lset linsert lrem 数组
		# index range  读
		# ltrim llen RPOPLPUSH (出队+入栈)
		LPUSH mylist a b c
		LINDEX mylist 0
		LPUSHX mylist hello
		LINSERT mylist BEFORE hello There
		LPOP mylist
		LLEN mylist
		LINDEX mylist 0
		LRANGE mylist 0 -1		
		RPUSH queue a a b c a
		LRANGE queue 0 -1
		LINDEX queue -1
		LREM queue 0 a 
		LRANGE queue 0 -1

		# trim RPOPLPUSH
		LTRIM queue 1 -1
		LRANGE queue 0 -1 
		LPUSH stack 1 2 3 4 5
		RPUSH q1  a b c d e
		RPOPLPUSH q1 stack
		lrange stack 0 -1
		lrange q1 0 -1
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end

local function test_set()
	local ret = ''
	local cmds = [[
		# add rem pop move 
		# card members randmember ismember
		# inter union diff
		
		# 为了保证原子性,交并补的操作需要在前
		SADD A a b c d
		SADD B b c 11 22
		# 第一个参数是操作的结果
		SDIFFSTORE DIFF A B
		SISMEMBER DIFF a
		SISMEMBER DIFF 11

		# 交集
		SINTERSTORE INTER A B 
		SISMEMBER INTER b
		# 并集
		SUNIONSTORE UNION A B 
		SMEMBERS UNION
		
		SMOVE A B a
		SMEMBERS A
		SMEMBERS B
		SADD bbs tianya.cn groups.google.com
		SREM bbs tianya.cn
		SMEMBERS bbs
		SADD tool pc printer phone
		SCARD tool
		SMEMBERS tool
		SPOP tool
		SMEMBERS tool
		SRANDMEMBER tool
		SRANDMEMBER tool
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end
local function test_zset()
	local ret = ''
	local cmds = [[
		# add rem remrangebyrank
		# score相关:(rev)rangebyscore incrby count score
		# card (rev)range (rev)rank
		# interstore unionstores
		
		ZADD page_rank 9 baidu.com  10 google.com 8 bing.com
		ZREM page_rank google.com
		ZCARD page_rank
		zscore page_rank bing.com
		ZRANGE page_rank 0 -1 WITHSCORES
		ZINCRBY page_rank 2 baidu.com
		ZCOUNT page_rank -1 5000 

		ZADD salary 2500 jack 5000 tom 12000 peter
		zrangebyscore salary -inf +inf WITHSCORES
		zrangebyscore salary (2500 +inf WITHSCORES
		zrank salary tom
		zrevrank salary tom
		zrevrange salary 0 -1 WITHSCORES
		# 闭区间
		zremrangebyrank salary 0 1 
		
		# zunionstore
		zadd programmer 2000 peter 3500 jack 5000 tom
		ZRANGE programmer 0 -1 WITHSCORES
		zadd manager 2000 herry 3500 mary 4000 bob
		zrange manager 0 -1 WITHSCORES
		zunionstore salary 2 programmer manager 
		zrange salary 0 -1 withscores

		# zinterstore
		ZADD mid_test 70 LiLei 70 HanMeimei 99.5 Tom 11 one
		ZADD fin_test 88 LiLei 75 HanMeimei 99.5 Tom
		zinterstore sum_point 2 mid_test fin_test
		zrange sum_point 0 -1 withscores
		
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end

local function test_other()
	local ret = ''
	local cmds = [[
		#MONITOR
		# SHUTDOWN
		BGREWRITEAOF
		DBSIZE
		LASTSAVE
		client list
		
		config get *
		CONFIG REWRITE
		CONFIG SET slowlog-log-slower-than 1000
		CONFIG SET slowlog-max-len 1000
		
		info all
		SLOWLOG GET
		SLOWLOG LEN
		SLOWLOG RESET

		SLAVEOF 127.0.0.1 6379	
	]]

	ret = Wtm.runlstr(cmds)
	redis.debug(ret)
	
	redis.breakpoint()
	return ret
end

-- redis.status_reply('status_reply')
-- redis.error_reply('error_reply')

local ret = test_zset()
-- 通过return 自动实现类型转换
return ret

-- ./redis-cli --ldb --eval /tmp/script.lua mykey somekey , arg1 arg2
-- s p l r e

 

分享到:
评论

相关推荐

    Redis和Lua实现分布式限流器的方法详解

    Redis 和 Lua 在分布式限流器中的应用是一种高效且原子性的解决方案。限流器的主要目的是防止系统因过量的请求而过载,确保服务的稳定性和性能。本文将深入探讨 Redis 和 Lua 如何协同工作,以及两种不同的限流策略...

    Redis.docx

    **Redis 简介** Redis 是一个开源的、基于键值对的数据存储系统,由意大利开发者 Salvatore Sanfilippo 创建。它支持多种数据结构,如...随着作者在实际使用中遇到的新问题和经验积累,文档的内容会持续更新和完善。

    redis源码日志(源码分析)

    5. **lua脚本支持**:Redis内置了lua解释器,允许用户编写lua脚本并在服务器端执行,提供了事务处理和复杂逻辑运算的能力。 6. **持久化策略**:为了防止数据丢失,Redis提供了两种持久化方案:RDB快照和AOF日志。...

    redisTest.zip

    Redis 是一个高性能的键值对存储系统,常用于数据库、缓存和消息中间件等场景。在"redisTest.zip"这个压缩包中,你将找到一个简易...随着经验的积累,你可以进一步研究 Redis 的高级特性和最佳实践,提升你的开发技能。

    lua一点代码

    描述中提到的是 "记录一点nginx lua的代码笔记,务虚下载",这意味着我们将关注的是实际编写和应用的 Lua 代码片段,这些代码可能是作者在实践过程中积累的,涵盖了 Nginx 配置和 Lua 脚本的结合使用。虽然没有具体...

    Redis命令大全

    Redis命令大全是一份包含了Redis数据库系统中几乎所有命令的详细文档,该文档的编写者是一名在大数据领域具有丰富经验的系统工程师,他在一家中国大陆的中型商业银行担任该职位时,根据自己在开发与运维工作中积累的...

    redis-service:java spring redies:订阅发布系统;统一配置管理; lua脚本实现分布式锁;缓存应用(连接池,切片连接池,哨兵模式)

    Redis服务:java Spring Redis 订阅/发布系统:pubsub; 统一配置管理 lua脚本实现分布式锁; 缓存应用(连接池,切片连接池,哨兵模式) 备注:哨兵,分片,最大化 哨兵模式集群(一主多从):每个节点拥有所有数据...

    openresty 最佳实践

    在高级应用中,我们会使用Lua开发各种功能模块,如Lua Resty Redis Library进行Redis数据库的快速访问,以及Lua Resty CJSON Library处理JSON数据的解析和编码。这些库通常涉及复杂的同步和异步操作,需要理解如何在...

    Mysql、Python、Django、Flask面试笔记大全

    面试中可能要讨论Redis的数据类型(字符串、哈希、列表、集合、有序集合),以及它的持久化策略、主从复制、发布订阅、事务处理和Lua脚本的使用。 学习这些技术需要理论与实践相结合,不断探索和积累经验。面试时,...

    本人开发过程中用到的开发文档

    它支持多种数据结构,如字符串、哈希、列表、集合、有序集合,同时提供事务、持久化、主从复制和Lua脚本等功能。Redis的高速读写性能和丰富的数据操作使其在分布式系统中广泛应用。 6. **Spring**: Spring是一个...

    程序员基础简历模板,简洁风

    在海量数据架构中,他应用Mycat分库分表、MongoDB副本集、Redis集群、ElasticSearch的Rollover Index等技术。在高并发系统架构上,他通过SLB、Tengine、非阻塞协议等手段优化系统性能。 总结来说,这位程序员的简历...

    亿级流量电商详情页系统实战-缓存架构+高可用服务架构+微服务架构

    9、基础设施技术涵盖了大型系统中常用的各种技术,包括了:LVS+KeepAlived、Nginx+Lua、Twemproxy+SSDB+Redis(磁盘+内存的分布式与读写分离双KV集群)、RabbitMQ消息中间件 10、直接可以二次开发的代码:本次升级...

    阅读:整理阅读过的干货文章,帖子

    在IT行业中,不断学习和积累知识是至关重要的。标题和描述提到的是整理阅读过的干货文章和帖子,这表明我们关注的焦点是各种技术的实践应用和深入理解。下面,我将根据提供的标签和可能的文件内容,逐一解析相关知识...

    以项目方式讲解WAF产品建设.pdf

    此外,规则推送和优化也是技术实现的重点,规则来源于多个方面,如Modsecurity规则集、商业WAF规则以及企业自身积累的规则。规则推送和优化通常会涉及到定时同步、配置评估、规则生成和执行效率优化等技术手段。 ...

    分布式能源岗位职责任职要求.docx

    - 精通Python或Go语言,并熟悉其他如Java、Lua、Perl、Shell等编程语言。 2. **项目经验与团队协作:** - 精通至少一种开发框架如Flask,并有2年以上的项目开发或管理经验。 - 认同并坚持“Automate Everything ...

Global site tag (gtag.js) - Google Analytics