由于项目需要使用Redis内存数据库,数据库使用到没什么,只是中间出现了一个小插曲,现在对其排查过程进行总结,希望对遇到相同问题的人有所帮助。
背景:
项目并发量非常高,客户端使用Jedis,每个请求都会从Jedis链接池(JedisPool)中获取Jedis链接,通过Jedis链接对象,操作Redis数据库中的数据,Redis服务端连接不释放,一直增长,无论线程池调多大,随着时间的推移都会被占满,百思不得其解;
开发环境搭建:
1、引入redis的客户端Jar包;
redis有多种客户端,本项目中所采用的是Jedis作为客户端,使用Maven对项目进行管理,下面是Jedis客户端jar包在Maven中依赖配置:
<dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.6.0</version> </dependency>
2、将Jedis客户端与Spring框架相结合,配置文件如下:
<!-- 定义加载资源文件 --> <context:property-placeholder location="classpath:redis.properties" ignore-unresolvable="true" /> <!-- 对象资源池初始化配置 --> <bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> <property name="maxTotal" value="${redis.pool.maxTotal}"/> <property name="maxIdle" value="${redis.pool.maxIdle}" /> <property name="minIdle" value="${redis.pool.minIdle}"/> <property name="maxWaitMillis" value="${redis.pool.maxWaitMillis}"/> <property name="testOnBorrow" value="${redis.pool.testOnBorrow}" /> <property name="testOnReturn" value="${redis.pool.testOnReturn}" /> <property name="testWhileIdle" value="${redis.pool.testWhileIdle}" /> <property name="numTestsPerEvictionRun" value="${redis.pool.numTestsPerEvictionRun}" /> <property name="timeBetweenEvictionRunsMillis" value="${redis.pool.timeBetweenEvictionRunsMillis}" /> </bean> <!-- redis 单机资源池 --> <bean id="jedisPool" class="redis.clients.jedis.JedisPool" scope="singleton" lazy-init="true" > <constructor-arg index="0" ref="jedisPoolConfig" /> <constructor-arg index="1" value="${redis.ip}" /> <constructor-arg index="2" value="${redis.port}" type="int" /> <constructor-arg index="3" value="${redis.timeout}" type="int" /> </bean>
redis.properties文件的配置如下:
#最大活动对象数 redis.pool.maxTotal=1000 #最大能够保持idel状态的对象数 redis.pool.maxIdle=100 #最小能够保持idel状态的对象数 redis.pool.minIdle=50 #当池内没有返回对象时,最大等待时间 redis.pool.maxWaitMillis=10000 #当调用borrow Object方法时,是否进行有效性检查 redis.pool.testOnBorrow=true #当调用return Object方法时,是否进行有效性检查 redis.pool.testOnReturn=true #“空闲链接”检测线程,检测的周期,毫秒数。如果为负值,表示不运行“检测线程”。默认为-1. redis.pool.timeBetweenEvictionRunsMillis=30000 #向调用者输出“链接”对象时,是否检测它的空闲超时; redis.pool.testWhileIdle=true # 对于“空闲链接”检测线程而言,每次检测的链接资源的个数。默认为3. redis.pool.numTestsPerEvictionRun=50 #redis服务器的IP redis.ip=xxxxxx #redis服务器的Port redis1.port=6379
3、写了一个工具类获取Jedis资源与释放Jedis资源,代码如下:
@Service public class JedisUtils { private static Log logger = LogFactory.getLog(JedisUtils.class); /** * 自动注入Redis连接实例对象线程池 */ @Autowired private JedisPool jedisPool; /** * 获取Jedis对象 * @return */ public synchronized Jedis getJedis(){ Jedis jedis = null; if(jedisPool != null){ try{ if(jedis == null ){ jedis = jedisPool.getResource(); } }catch(Exception e){ logger.error(e.getMessage(),e); } } return jedis; } /** * 回收Jedis对象资源 * @param jedis */ public synchronized void returnResource(Jedis jedis){ if(jedis != null){ jedisPool.returnResource(jedis); } } /** * Jedis对象出异常的时候,回收Jedis对象资源 * @param jedis */ public synchronized void returnBrokenResource(Jedis jedis){ if(jedis != null){ jedisPool.returnBrokenResource(jedis); } } }
4、业务中使用Jedis相关代码:
public synchronized boolean offer(WarnMessage message) throws NullPointerException, IllegalArgumentException { boolean addFlag = false; String messageQueueName = getMessageQueueName(); checkKey(messageQueueName); if(message == null){ throw new NullPointerException("数据列表不存在"); } Jedis jedis = jedisUtils.getJedis(); if(jedis == null){ throw new NullPointerException("Jedis is Null"); } try{ long queueCurrValue = jedis.llen(messageQueueName); if(queueCurrValue >= queueMaxSize){ return addFlag; } String serizlizetValue = JSON.toJSONString(message); if(StringUtils.isNotBlank(serizlizetValue)){ long queueLength = jedis.lpush(messageQueueName, serizlizetValue); if(queueLength - queueCurrValue > 0){ addFlag = true; } } }catch(Exception e){ jedisUtils.returnBrokenResource(jedis); logger.error(e.getMessage(), e); }finally{ jedisUtils.returnResource(jedis); } return addFlag; }
以上是整个项目对Jedis正常使用配置的情况,是问题修改后能够正常运行的代码,当时redis服务端链接不释放的原因是,通过
Jedis jedis = jedisUtils.getJedis();
获取了Jedis这段代码写在了如下代码之前,这样生产环境中若真不存在数据,链接建立了,抛出了异常,但是Jedis链接释放的代码没有得到执行,这样每次使用offer方法,没有数据,就会创建一个jedis链接,直到将链接池撑满报错为止,Jedis链接不会像数据库那样自动回收链接到池中,只能手动的回收释放,希望大家在写代码的时候注意,这些细节。
if(message == null){ throw new NullPointerException("数据列表不存在"); }
相关推荐
redis工具类,初始化Redis连接池,获取Jedis实例,释放jedis资源
常见的Java Redis连接池工具有Jedis和Lettuce。这里以Jedis为例介绍配置和操作方法: 1. **添加依赖**:在你的`pom.xml`或`build.gradle`文件中添加Jedis的依赖,确保项目可以引用到Jedis库。 2. **配置连接池**:...
总结来说,"redis连接池jar jedis+common"是指在Java项目中,利用Jedis客户端和Apache Commons Pool2库实现Redis连接池,以高效地管理和复用数据库连接。通过合理配置和使用,可以显著提升应用的性能和响应速度。
Redis连接池同样是为了优化数据库操作,通过复用已存在的Redis连接,避免频繁地创建和释放连接,提高系统的响应速度。在聊天系统中,Redis可能用于存储会话信息、用户在线状态或者消息队列,以实现快速读写和高并发...
前些天用多线程执行操作测试验证vanyar-redis连接池,应用是刚重启的状态,执行操作是,开启10个线程同时执行10000次操作。 如下: 执行操作完毕后发现控制台输出9个下面错误信息: 该错误大致意思是说:不能将...
"redis连接包.zip"是一个包含Jedis和Apache Commons Pool2的Java库,这两个库是实现高效Redis连接池的关键组件。 首先,Jedis(Java Redis Client)是Java社区广泛使用的Redis客户端,它提供了丰富的API来操作Redis...
在这个项目中,`vc++客户端连接池`是核心部分,它的主要任务是管理和复用Redis连接。连接池的基本原理是在应用程序启动时预创建一定数量的数据库连接,然后在需要时从池中取出连接,用完后归还回池,而不是每次操作...
最后,我们释放资源并关闭连接。 对于`RedisDemo`项目中的源码,很可能包含了更复杂的功能,比如使用哈希表构建目录树。哈希表是一种常用的数据结构,可以高效地存储键值对,非常适合用来组织和检索数据。在`Redis`...
总的来说,通过结合Redis的乐观锁机制、连接池优化和分布式锁,我们可以有效地解决高并发环境下的连接超时和超卖问题,保障系统的稳定性和正确性。在实际项目中,还需要根据具体业务需求和系统架构进行调整和优化。
redis 连接池Redis 的 node.js 连接池。https://silverbucket.github.io/redis-connection-pool 关于高级 redis 连接池对象。它管理池中的多个连接,根据需要使用它们,并将释放活动连接的所有方面保留在对象内部。...
6. 配置优化:在实际使用中,你可以根据项目需求调整Jedis客户端的配置,如连接池设置、超时时间、重试策略等,以提高性能和稳定性。 7. 注意事项:在并发环境下使用Jedis时,推荐使用连接池(如Lettuce客户端提供...
而"redis_pool.zip"这个压缩包显然与Redis的连接池有关,我们将深入探讨Redis连接池的基本使用。 **Redis连接池** 在高并发环境下,频繁创建和销毁Redis连接会导致大量系统资源的消耗,因此引入了连接池的概念。...
2. Redis连接池:为了避免频繁地创建和关闭Redis连接,可以使用连接池来管理Redis连接。可以使用JedisPoolConfig设置连接池的最大连接数、最大空闲连接数、最小空闲连接数等参数。 3. 存储token:可以使用Jedis的set...
**redpool:Nim的Redis连接池** 在Nim编程语言中,`redpool`是一个重要的库,它为开发者提供了一种高效、便捷的方式来管理Redis数据库的连接。连接池是数据库连接管理的一种策略,通过复用已存在的连接,而不是每次...
这些库提供了管理和维护数据库连接的功能,包括初始化连接池、获取和释放连接、自动关闭连接以及监控连接状态。 Oracle数据库是世界上最广泛使用的商业关系型数据库之一,特别适合于大型企业级应用。在Java中与...
2. **连接池管理**:在实际生产环境中,为了提高性能和资源利用率,我们会使用连接池来管理Jedis实例,比如使用`JedisPool`。配置连接池时,你需要指定最大空闲连接数、最大活跃连接数等参数。 3. **基本操作**: ...
在实际项目中,通常会使用连接池来管理Jedis实例,比如使用`Lettuce`或`JedisPool`,以提高性能和资源利用率。连接池可以复用已建立的连接,避免频繁创建和销毁连接带来的开销。 总结,Java连接Redis主要涉及以下...
在IT行业中,项目部署、数据库连接池管理和分布式缓存服务是关键环节,这些内容在"项目、数据库连接池、redis部署文档"中得到了详细的阐述。本篇将详细讲解标题和描述中涉及的知识点。 首先,项目部署是软件开发...
在你的示例项目`demo_redis`中,你可能已经实现了这些基本操作,可以进一步探索更多高级特性和优化技巧,如连接池管理、命令批处理以及错误处理等,以提高应用性能和健壮性。在实际项目中,建议使用连接池,如Jedis...