- 浏览: 4399998 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (163)
- 职场 && 心情 (22)
- Java/Basic (17)
- Java/Compression (7)
- Java/Security (20)
- Java/Maven (3)
- Java/Cache (11)
- Eclipse (4)
- Spring (19)
- ORM/Hibernate (2)
- ORM/iBatis (3)
- DB/NoSQL (11)
- DB/MySQL (7)
- DB/MS SQL Server (4)
- OS/Linux (11)
- OS/Mac (7)
- C/C++ (4)
- Server Architecture/Basic (13)
- Server Architecture/Distributed (17)
- Moblie/Andriod (2)
- WebService (3)
- Objective-C (1)
- Html (1)
- 设计模式 (1)
- Scala (0)
- Kafka (1)
最新评论
-
w47_csdn:
证书安装:在"浏览"选项中选择" ...
Java加密技术(九)——初探SSL -
w47_csdn:
spiritfrog 写道你好,我按照你的步骤,tomcat中 ...
Java加密技术(九)——初探SSL -
liuyachao111:
11楼说的对 用@ControllerAdvicepublic ...
Spring 注解学习手札(八)补遗——@ExceptionHandler -
irayslu:
作者你好, 我把你的源码放在jdk6, jdk7 中运行正常, ...
Java加密技术(五)——非对称加密算法的由来DH -
夏季浅忆-卖小子:
为什么不能解压rar格式的压缩包呢
Java压缩技术(三) ZIP解压缩——Java原生实现
征服 Kestrel + XMemcached + Spring TaskExecutor
上一篇征服 Kestrel + XMemcached只是对Kestrel操作做了简要的整理,如果要在实际工作用应用,还需要对接收端继续改造,这里需要用到Spring的Executor以线程池的方式,作为Kestrel的Worker,完成具体的业务操作。
相关链接:
征服 Kestrel
征服 Kestrel + XMemcached
如何理解Executor?
现学现卖,简单说下Executor。
Executor,即JDK 5.0才有的java.util.concurrent.Executor接口,主要目的是将“任务提交”与“任务执行”分离解耦。
这个接口只有 void execute(Runnable command)这个方法,用于执行任务。
Spring提供了与之等同的TaskExecutor接口(org.springframework.core.task.TaskExecutor),拥有统一个方法。但提供多种实现类。
SimpleAsyncTaskExecutor类
这个实现不重用任何线程,或者说它每次调用都启动一个新线程。但是,它还是支持对并发总数设限,当超过线程并发总数限制时,阻塞新的调用,直到有位置被释放。如果你需要真正的池,请继续往下看。
SyncTaskExecutor类
这个实现不会异步执行。相反,每次调用都在发起调用的线程中执行。它的主要用处是在不需要多线程的时候,比如简单的test case。
ConcurrentTaskExecutor类
这个实现是对Java 5 java.util.concurrent.Executor类的包装。有另一个备选, ThreadPoolTaskExecutor类,它暴露了Executor的配置参数作为bean属性。很少需要使用ConcurrentTaskExecutor, 但是如果ThreadPoolTaskExecutor不敷所需,ConcurrentTaskExecutor是另外一个备选。
SimpleThreadPoolTaskExecutor类
这个实现实际上是Quartz的SimpleThreadPool类的子类,它会监听Spring的生命周期回调。当你有线程池,需要在Quartz和非Quartz组件中共用时,这是它的典型用处。
ThreadPoolTaskExecutor类
它不支持任何对java.util.concurrent包的替换或者下行移植。Doug Lea和Dawid Kurzyniec对java.util.concurrent的实现都采用了不同的包结构,导致它们无法正确运行。
这个实现只能在Java 5环境中使用,但是却是这个环境中最常用的。它暴露的bean properties可以用来配置一个java.util.concurrent.ThreadPoolExecutor,把它包装到一个TaskExecutor中。如果你需要更加先进的类,比如ScheduledThreadPoolExecutor,我们建议你使用ConcurrentTaskExecutor来替代。
TimerTaskExecutor类
这个实现使用一个TimerTask作为其背后的实现。它和SyncTaskExecutor的不同在于,方法调用是在一个独立的线程中进行的,虽然在那个线程中是同步的。
WorkManagerTaskExecutor类
CommonJ 是BEA和IBM联合开发的一套规范。这些规范并非Java EE的标准,但它是BEA和IBM的应用服务器实现的共同标准
这个实现使用了CommonJ WorkManager作为其底层实现,是在Spring context中配置CommonJ WorkManager应用的最重要的类。和SimpleThreadPoolTaskExecutor类似,这个类实现了WorkManager接口,因此可以直接作为WorkManager使用。
我们可以先不关注这么一堆具体的实现类,回到本帖问题本身——实现一个多线程式的Worker实现。
先配置一个TaskExecutor的是执行者,这里控制线程池活跃线程数为1,最大线程数为5;任务队列长度为10。
这段配置的具体实现类是org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor,其含义是:提供1~5个线程,用于任务处理,当这些线程都在工作时,新来的任务就存放到队列中,如果新进任务数超过了队列长度,就会抛出异常(org.springframework.core.task.TaskRejectedException)。意思就是说Worker数不够,需要增加pool-size数量!
建议捕获该异常,日志监控/邮件告警。
注意Active数量,如果是数据库操作,这里的Active一定要小于等于数据库可用连接数量。
实现类就就极为简单了:
在上一篇代码的基础上修改,做一个测试用例:
这时,Main线程会一直跑下去,等待任务分配,或者任务后,进行业务处理。这里是将获得的数据打印日志。
如何模拟一个队列爆满的情况?
这个配置,足以抛出org.springframework.core.task.TaskRejectedException
org.springframework.core.task.TaskRejectedException: Executor [java.util.concurrent.ThreadPoolExecutor@551748e6[Running, pool size = 2, active threads = 0, queued tasks = 1, completed tasks = 633]] did not accept task: org.zlex.kestrel.executor.KestrelExecutorWorker$1@5e53e1f3
此致,代码详见附件!
有关Kestrel+Xmemcached的任何问题,还是看看作者怎么总结的!!!
Xmemcached的FAQ和性能调整建议
相关链接:
征服 Kestrel
征服 Kestrel + XMemcached
征服 Kestrel + XMemcached + Spring TaskExecutor
刚完成选型,这就开始尝试。
呵呵,方便问下用到什么场景嘛
举个最简单的例子,Kestrel是Twriter的产物,这里只说写操作,如果多个用户同时发了一条微博,后台数据库即便是再多集群,也无法再一秒内完成所有数据库操作。这时候,如何在不增加硬件成本的基础上,最大范围提升系统利用率?就是让这些非及时响应的操作异步完成。把写操作放到队列里,慢慢处理。当然,这里要考虑一些问题:1.队列操作是否会丢失消息? 2.用户操作后如何及时浏览自己的微博?问题1,kestrel通过日志,队列标志等等方面完善了这一点,即便是队列服务重启,也不会丢失消息;问题2,通过缓存方式,将原本要写数据库的操作,同时写在用户缓存中,提升用户体验。
貌似就是这些!
刚完成选型,这就开始尝试。
呵呵,方便问下用到什么场景嘛
刚完成选型,这就开始尝试。
相关链接:
征服 Kestrel
征服 Kestrel + XMemcached
如何理解Executor?
- The Endless Task,任务是永远做不完的,需要进行细化分解,具体工作交给Worker来做。
- 那何为Worker呢?这里就是真正做工的进程,具体来讲就是处理业务逻辑、数据库操作等等,诸如此类的动作。
- 试想,如果只有一个Worker工作,那效率势必低下。于是通过多线程复制Worker,增加同时工作的Worker数量。换句话说,一个Worker就是一个Thread。
- 这时候,如果来了新的任务该怎么办?排队等着!
- 如果,如果队列满了怎么办,抛出异常。然后?你看着办!调整线程数/队列数,做集群等等,随你扩展!
现学现卖,简单说下Executor。
Executor,即JDK 5.0才有的java.util.concurrent.Executor接口,主要目的是将“任务提交”与“任务执行”分离解耦。
这个接口只有 void execute(Runnable command)这个方法,用于执行任务。
Spring提供了与之等同的TaskExecutor接口(org.springframework.core.task.TaskExecutor),拥有统一个方法。但提供多种实现类。
引用
SimpleAsyncTaskExecutor类
这个实现不重用任何线程,或者说它每次调用都启动一个新线程。但是,它还是支持对并发总数设限,当超过线程并发总数限制时,阻塞新的调用,直到有位置被释放。如果你需要真正的池,请继续往下看。
SyncTaskExecutor类
这个实现不会异步执行。相反,每次调用都在发起调用的线程中执行。它的主要用处是在不需要多线程的时候,比如简单的test case。
ConcurrentTaskExecutor类
这个实现是对Java 5 java.util.concurrent.Executor类的包装。有另一个备选, ThreadPoolTaskExecutor类,它暴露了Executor的配置参数作为bean属性。很少需要使用ConcurrentTaskExecutor, 但是如果ThreadPoolTaskExecutor不敷所需,ConcurrentTaskExecutor是另外一个备选。
SimpleThreadPoolTaskExecutor类
这个实现实际上是Quartz的SimpleThreadPool类的子类,它会监听Spring的生命周期回调。当你有线程池,需要在Quartz和非Quartz组件中共用时,这是它的典型用处。
ThreadPoolTaskExecutor类
它不支持任何对java.util.concurrent包的替换或者下行移植。Doug Lea和Dawid Kurzyniec对java.util.concurrent的实现都采用了不同的包结构,导致它们无法正确运行。
这个实现只能在Java 5环境中使用,但是却是这个环境中最常用的。它暴露的bean properties可以用来配置一个java.util.concurrent.ThreadPoolExecutor,把它包装到一个TaskExecutor中。如果你需要更加先进的类,比如ScheduledThreadPoolExecutor,我们建议你使用ConcurrentTaskExecutor来替代。
TimerTaskExecutor类
这个实现使用一个TimerTask作为其背后的实现。它和SyncTaskExecutor的不同在于,方法调用是在一个独立的线程中进行的,虽然在那个线程中是同步的。
WorkManagerTaskExecutor类
CommonJ 是BEA和IBM联合开发的一套规范。这些规范并非Java EE的标准,但它是BEA和IBM的应用服务器实现的共同标准
这个实现使用了CommonJ WorkManager作为其底层实现,是在Spring context中配置CommonJ WorkManager应用的最重要的类。和SimpleThreadPoolTaskExecutor类似,这个类实现了WorkManager接口,因此可以直接作为WorkManager使用。
我们可以先不关注这么一堆具体的实现类,回到本帖问题本身——实现一个多线程式的Worker实现。
先配置一个TaskExecutor的是执行者,这里控制线程池活跃线程数为1,最大线程数为5;任务队列长度为10。
<!-- pool-size="1-5",线程池初始的线程数为1,最大活跃线程数为5 最大值可理解为可用的数据库连接数--> <!-- queue-capacity="10",任务队列长度。 --> <task:executor id="kestrelExecutor" pool-size="1-5" queue-capacity="10" />
这段配置的具体实现类是org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor,其含义是:提供1~5个线程,用于任务处理,当这些线程都在工作时,新来的任务就存放到队列中,如果新进任务数超过了队列长度,就会抛出异常(org.springframework.core.task.TaskRejectedException)。意思就是说Worker数不够,需要增加pool-size数量!
建议捕获该异常,日志监控/邮件告警。
注意Active数量,如果是数据库操作,这里的Active一定要小于等于数据库可用连接数量。
实现类就就极为简单了:
import javax.annotation.Resource; import org.apache.log4j.Logger; import org.springframework.core.task.TaskExecutor; import org.springframework.stereotype.Component; /** * Worker * * @author zlex * @version 1.0 * @since 1.0 */ @Component public class KestrelExecutorWorker { /** * Logger for this class */ private static final Logger logger = Logger .getLogger(KestrelExecutorWorker.class); @Resource private TaskExecutor kestrelExecutor; /** * 业务处理 * * @param value */ public void process(final Object value) { kestrelExecutor.execute(new Runnable() { public void run() { logger.debug(value); } }); } }
在上一篇代码的基础上修改,做一个测试用例:
import static junit.framework.Assert.*; import net.rubyeye.xmemcached.MemcachedClient; import org.junit.Before; import org.junit.Test; import org.springframework.context.ApplicationContext; import org.springframework.context.support.ClassPathXmlApplicationContext; import org.springframework.core.task.TaskRejectedException; /** * WorkerTest * * @author zlex * @version 1.0 * @since 1.0 */ public class KestrelExecutorWorkerTest { private ApplicationContext app; private KestrelExecutorWorker kestrelExecutorWorker; private MemcachedClient memcachedClient; private final static String QUEUE_NAME = "KQ"; /** * @throws java.lang.Exception */ @Before public void before() throws Exception { app = new ClassPathXmlApplicationContext("applicationContext.xml"); memcachedClient = (MemcachedClient) app.getBean("memcachedClient"); kestrelExecutorWorker = (KestrelExecutorWorker) app .getBean("kestrelExecutorWorker"); } @Test public void test() { // The Endless Task while (true) { try { Object value = (Object) memcachedClient.get(QUEUE_NAME); if (value != null) { // Process... kestrelExecutorWorker.process(value); } else { // Sleep... Thread.sleep(300); } } catch (TaskRejectedException e) { // Send Mail To System Administrator e.printStackTrace(); fail(e.getMessage()); } catch (Exception e) { e.printStackTrace(); fail(e.getMessage()); } } } }
这时,Main线程会一直跑下去,等待任务分配,或者任务后,进行业务处理。这里是将获得的数据打印日志。
如何模拟一个队列爆满的情况?
<task:executor id="kestrelExecutor" pool-size="1-2" queue-capacity="1" />
这个配置,足以抛出org.springframework.core.task.TaskRejectedException
引用
org.springframework.core.task.TaskRejectedException: Executor [java.util.concurrent.ThreadPoolExecutor@551748e6[Running, pool size = 2, active threads = 0, queued tasks = 1, completed tasks = 633]] did not accept task: org.zlex.kestrel.executor.KestrelExecutorWorker$1@5e53e1f3
此致,代码详见附件!
有关Kestrel+Xmemcached的任何问题,还是看看作者怎么总结的!!!
Xmemcached的FAQ和性能调整建议
相关链接:
征服 Kestrel
征服 Kestrel + XMemcached
征服 Kestrel + XMemcached + Spring TaskExecutor
- kestrel-task-executor.zip (19.9 KB)
- 下载次数: 100
评论
5 楼
di1984HIT
2014-04-14
挺好的,前沿的用的不错啊
4 楼
snowolf
2012-07-30
jinnianshilongnian 写道
snowolf 写道
jinnianshilongnian 写道
现在用Kestrel 挺多的,你们现在也在用吗?
刚完成选型,这就开始尝试。
呵呵,方便问下用到什么场景嘛
举个最简单的例子,Kestrel是Twriter的产物,这里只说写操作,如果多个用户同时发了一条微博,后台数据库即便是再多集群,也无法再一秒内完成所有数据库操作。这时候,如何在不增加硬件成本的基础上,最大范围提升系统利用率?就是让这些非及时响应的操作异步完成。把写操作放到队列里,慢慢处理。当然,这里要考虑一些问题:1.队列操作是否会丢失消息? 2.用户操作后如何及时浏览自己的微博?问题1,kestrel通过日志,队列标志等等方面完善了这一点,即便是队列服务重启,也不会丢失消息;问题2,通过缓存方式,将原本要写数据库的操作,同时写在用户缓存中,提升用户体验。
貌似就是这些!
3 楼
jinnianshilongnian
2012-07-30
snowolf 写道
jinnianshilongnian 写道
现在用Kestrel 挺多的,你们现在也在用吗?
刚完成选型,这就开始尝试。
呵呵,方便问下用到什么场景嘛
2 楼
snowolf
2012-07-30
jinnianshilongnian 写道
现在用Kestrel 挺多的,你们现在也在用吗?
刚完成选型,这就开始尝试。
1 楼
jinnianshilongnian
2012-07-30
现在用Kestrel 挺多的,你们现在也在用吗?
发表评论
-
Thrift小记
2013-03-14 18:37 7869Thrit用的不多,也不够深入,这里小记一笔。 关于Th ... -
征服 Redis + Jedis + Spring (三)—— 列表操作
2013-03-06 16:16 84085一开始以为Spring下操 ... -
Nginx扩展(一):nginx_tcp_proxy_module
2013-01-15 16:41 20848好东西必须持续钻研,且持续积累,尤其要做个笔记。 今天是 ... -
Memcached笔记——(四)应对高并发攻击
2012-09-13 09:48 29053近半个月过得很痛苦,主要是产品上线后,引来无数机器用户恶意 ... -
征服 Redis + Jedis + Spring (二)—— 哈希表操作(HMGET HMSET)
2012-08-29 18:29 82407不得不说,用哈希操作来存对象,有点自讨苦吃! 不过,既然 ... -
征服 Redis + Jedis + Spring (一)—— 配置&常规操作(GET SET DEL)
2012-08-29 16:30 157629有日子没写博客了,真的是忙得要疯掉。 完成项目基础架构搭建 ... -
Redis集群服务器-高可用调研随笔
2012-08-22 22:24 28944今天改了一天的Bug,本 ... -
Spring 注解学习手札(八)补遗——@ExceptionHandler
2012-08-17 18:35 84294Spring注解,改变了我的 ... -
征服 Mongodb 之 安装与系统服务配置
2012-08-16 18:47 13638今天补点旧账,去年搭建系统时,曾想用Mongodb做 ... -
征服 Redis + Jedis
2012-08-15 17:49 83549用Memcached,对于缓存对象大小有要求,单个对象不得 ... -
征服 Redis
2012-08-13 17:05 86381大约一年多前,公司同事开始使用Redis,不清楚是配置,还是 ... -
Spring 注解学习手札(七) 补遗——@ResponseBody,@RequestBody,@PathVariable
2012-08-10 21:27 440177最近需要做些接口服务,服务协议定为JSON,为了整合在Spri ... -
征服 Kestrel + XMemcached
2012-07-24 12:06 4734接上一篇 征服Kestrel,介绍XMemcached对于Ke ... -
征服 Kestrel
2012-07-23 18:33 13307因为要面对高并发PUSH需求,考虑将其按队列方式实现,最终选型 ... -
征服 Nginx + Tomcat
2012-05-24 17:35 267952年前一直折腾Apache,现如今更习惯Nginx。 搭建网站 ... -
征服 Nginx
2012-04-25 13:12 10359赶上要配置测试服务器,赶上Nginx-1.2.0 stable ... -
征服Spring AOP—— @AspectJ
2012-04-10 12:01 18725接N年前写的一篇Spring AOP相关的内容征服Spring ... -
Memcached笔记——(二)XMemcached&Spring集成
2012-04-01 09:55 42409今天研究Memcached的Java的Client,使用XMe ... -
Memcached笔记——(一)安装&常规错误&监控
2012-03-09 14:27 3559508年的时候接触过Memcached,当时还对它的客户端产品嗤 ... -
Spring util
2011-02-24 12:02 01,<util:constant/> 取代了之前通 ...
相关推荐
标题“征服 Kestrel + XMemcached”暗示了这篇博文主要关注的是两个技术组件:Kestrel和XMemcached。Kestrel是一个高性能、异步的分布式消息队列,而XMemcached则是一个广泛使用的Java客户端,用于连接到Memcached...
【Kestrel任务执行者:Kestrel + XMemcached + Spring TaskExecutor】 在Java开发领域,高效的任务调度和执行是关键部分,特别是在分布式系统中。这个项目名为"kestrel-task-executor",它结合了Kestrel消息队列、...
**FastGateway:基于Kestrel+Yarp的高效API网关** FastGateway是一个轻量级且功能强大的API网关,其设计目标是提供一个简单、便捷的解决方案,以支持动态配置路由、集群管理和HTTPS证书配置。它利用了.NET Core中的...
【标题】:“征服 Kestrel” Kestrel,这个名字在IT行业中通常指的是Microsoft开发的一款开源、高性能、异步网络库,它是ASP.NET Core框架的一部分,用于构建web服务器。Kestrel设计的目标是提供一个轻量级、可靠且...
IIS 充当起了反向代理,将流量转发给 Kestrel 并管理 Kestrel 进程。在 Linux 上,我们通常使用 NGINX 作为 Kestrel 的反向代理。 三、设置 Kestrel 在 ASP.NET Core 3.0 及更高版本,Kestrel 属于框架默认的配置...
Kestrel+nginx bootstrap、adminlte、bootstrap-table、bootstrap-select、bootstrap-treeview等 功能说明: 系统管理:角色管理/权限管理,部门管理,用户管理,数据字典 基础资料:物料管理,客户管理,供应商...
**Kestrel持久化队列服务器详解** Kestrel是一款高性能、轻量级的消息队列系统,最初由Twitter开发并开源。它主要被设计用来处理实时流数据,提供了一个简单的基于HTTP的API来发送和接收消息。Kestrel的一个关键...
在ASP.NET Core中,如果在Kestrel中想使用HTTPS对站点进行加密传输,可以按照如下方式 申请证书 这一步就不详细说了,有免费的和收费的,申请完成之后会给你一个*.pfx结尾的文件。 添加NuGet包 nuget中...
**Kestrel框架详解** Kestrel框架是ASP.NET Core的一部分,它是一个高度可配置、高性能的Web服务器,被设计用于构建跨平台的现代Web应用。Kestrel自.NET Core 1.0版本起就已成为默认的Web服务器,支持Windows、...
资源分类:Python库 所属语言:Python 资源全名:kestrel-lang-1.0.5.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
addlog-kestrel
红隼节点Node.js 的 Kestrel 客户端安装 npm install kestrel.node用法 var Kestrel = require ( 'kestrel.node' ) ;var client = new Kestrel ( 'localhost:22133' ) ;// get can optionally take a timeout in ...
Kestrel以其灵活性和可靠性而著称,被广泛用于ASP.NET Core应用程序的部署。 **一、KestrelHttpServer与libuv的关系** libuv是一个跨平台的异步I/O库,它为多种操作系统提供了统一的API,用于处理网络连接和文件...
Kestrel是不是Unix或Windows的内核。
在某些情况下,当 Nginx 配置不当,尤其是 `Connection` 字段设置为 `Upgrade` 时,可能会导致 Kestrel(ASP.NET Core 的内置 web 服务器)返回 400 错误。这个问题通常与 WebSocket 协议升级有关。 WebSocket 是一...
这篇文章主要是记录如何将Kestrel的服务封装在WindowService中 关于WindowsServer 请参考如下这篇文章 .netcore worker service (辅助角色服务) 的上手入门,包含linux和windows服务部署 开发服务 之前做过.net5...
"kestrel_lang-1.1.0-py3-none-any.whl"就是这样一个Python库的发行版,它适用于Python 3解释器。 首先,我们来了解一下`.whl`文件。`.whl`是Python的二进制分发格式,它是Python Wheel项目的产物。Wheel格式旨在...