- 浏览: 1068584 次
- 性别:
- 来自: 长沙
文章分类
- 全部博客 (639)
- 服务器配置篇 (58)
- hibernate篇 (14)
- spring篇 (33)
- struts篇 (28)
- JS篇 (46)
- 其他技术篇 (46)
- 数据库集群配置 (6)
- JAVA基础相关 (48)
- 分布式框架HadHoop的应用 (2)
- FLEX篇 (8)
- SQLSERVER技术 (32)
- Android学习 (13)
- amchart学习笔记 (1)
- openfire+smark搭建即时通讯 (9)
- Linux学习 (18)
- Oracle数据库 (15)
- 网站优化技术 (12)
- mysql数据库 (2)
- 项目学习总结 (18)
- 工具类(JAVA) (12)
- 工具类(JS) (2)
- 设计模式 (10)
- Lucene学习 (24)
- EJB3学习 (6)
- Sphinx搜索引擎 (3)
- 工作中用到的软件小工具 (5)
- .NET (49)
- JAVA 连接SQLSERVER2008步骤 (1)
- MongoDB (19)
- Android手机开发 (3)
- Maven (6)
- vue (9)
- Shiro (4)
- mybatis (3)
- netty框架 (1)
- SpringCloud (3)
- spring-cloud (7)
- Git (1)
- dubbo (2)
- springboot (13)
- rocketmq (1)
- git学习 (2)
- kafka服务器 (2)
- linux (10)
- WEB系统辅助项目 (1)
- jenkins (2)
- docker (4)
- influxdb (3)
- python (2)
- nginx (1)
最新评论
-
jiangfuofu555:
这样数据量大,效率怎么样?
sqlserver 实现分页的前台代码 以及后台的sqlserver语句 -
w156445045:
博主请问下,如何做到实时的刷新呢,
另外我后台是Java 谢谢 ...
web 版本的汽车仪表盘,非常好看。还有各种图形 -
jackyin5918:
<transportConnector name=&qu ...
ActiveMQ的activemq.xml详细配置讲解 -
握着橄榄枝的人:
你这个不是spring1.x的吧
spring1.x使用AOP实例 -
xiaophai:
全乱套了!
openfire+spark搭建完美的及时通讯
在现在的项目中遇到的一个问题。
我所做的短信平台,原来只是单线程发送短信的,但是由于公司的应用范围的扩大,短信的发送量成倍的增多,一批插入的短信量达到5W数据,如果按照以前的方式,发送过程十分缓慢。因为我们所用的第三方短信提供商只提供给我们10个并发的限制,所以我们采用10条线程进行读取。一次发10条,等10条发送完成以后再发送另外10条。
以下是程序:
private void sendSmsLoop() throws Exception {
for (int i=0; i< threads.length; i++){
threads[i] = null;
}
String sql =""
+"select top 10 "
+"smsSend.id "
+",smsSend.phoneNumber "
+",smsSend.content "
+",smsSend.subcode "
+",smsSend.clientID "
+",smsSend.SID "
+"from "
+"smsSend "
+"where "
+"(smsSend.handleFlag = 0 "
+"and datediff(minute, smsSend.registerDate, getDate()) < 30 "
+"and left(smsSend.phoneNumber,3) in ('130','131','132','155','156','186','134','135','136','137','138','139','150','151','152','154','157','158','159','187','188')) or (ClientID='1' and sendDate is NULL)";
//System.out.println(sql);
Stmt = DBConn.createStatement();
Rs = Stmt.executeQuery(sql);
int inc = 0;
while(Rs.next())
{
String ID = Rs.getString("id");
String phoneNumber = Rs.getString("phoneNumber");//手机号
String content = StrUtil.replaceIllegalString(Rs.getString("content")); //信息
String subcode = Rs.getString("subcode");
String clientID = Rs.getString("clientID");
String sid = Rs.getString("SID");
//在这里开始开启线程,因为我所选的是TOP10,所以一次可以启动10条线程
SmsThread st = new SmsThread(ID,phoneNumber,content,subcode,clientID,sid);
threads[inc] = st;
threads[inc].start();
inc++;
}
//循环判断10个线程的FLAG信息,判断FLAG必须都为TRUE了。才可以进行下一轮扫描。【判断为TRUE的结果就是只要该线程执行完毕后FLAG就赋值为TRUE】
while(true)
{
boolean _flag = false;
for (int i=0; i< threads.length; i++){
if (threads[i] != null){
SmsThread st = (SmsThread) threads[i];
if(!st.flag)
{
_flag = true;
break;
}
}
}
if (_flag){
Thread.sleep(1000);
}else{
break;
}
}
}
class SmsThread extends Thread
{
public boolean flag = false;
public String ID;
public String phoneNumber;
public String content;
public String subcode;
public String clientID;
public String sid;
public SmsThread()
{
}
public SmsThread(String ID,String phoneNumber,String content,String subcode,String clientID,String sid)
{
this.ID = ID;
this.phoneNumber =phoneNumber;
this.content=content;
this.subcode = subcode;
this.clientID = clientID;
this.sid = sid;
}
public void run()
{
try {
sendSmsByStrategy(ID, phoneNumber, content, subcode, clientID,
sid);
} catch (Exception e) {
e.printStackTrace();
}
//每个线程执行完成以后都会将自己的FLAG设置为TRUE,所以我们在循环取数据的时候要保证所有的线程方法都执行了,才开始下一次的数据读取。
flag = true;
}
}
private void sendSmsByStrategy(String id, String phoneNumber, String content,String SubCode,String clientID,String sid) throws Exception
{
SmsSendBatch send = new SmsSendBatch(DBConn);
send.sendSms(id, phoneNumber, content, SubCode);
}
----------------------------------------------------
对以上方法的改良版本V1.0。上面程序存在的一个性能问题就是,每次发完10条信息都会要重新去数据库取出一次数据,这样对性能也会造成一定的影响,现在对齐进行改良,因为我们根据每次并发8条线程对于发送短信是最快的【主要是短信提供商那边提供给我们虽然有10 个并发,但是我们自己测试8个并发是最好的,10个并发会有连接异常发生】。我改变读取策略,一次从数据库中读取80条信息,放在集合中,然后用8个线程分别每天处理10条信息进行发送,等发送完毕这80条信息,然后再去取另外的80条信息。为什么不一次性取多点数据呢,因为我们还有其他的数据任务在操作短信表,如果数据量一次取太大,会对数据库造成死锁,所以取的够用就可以了。
具体代码实现:
private void sendSmsLoop() throws Exception {
threads.clear();
smslist.clear();
String sql =""
+"select top 80 "
+"smsSend.id "
+",smsSend.phoneNumber "
+",smsSend.content "
+",smsSend.subcode "
+",smsSend.clientID "
+",smsSend.SID "
+"from "
+"smsSend_temp_tuping as smsSend "
+"where "
+"(smsSend.handleFlag = 0 "
//+"and datediff(minute, smsSend.registerDate, getDate()) < 30 "
//+"and left(smsSend.phoneNumber,3) in ('130','131','132','155','156','186','134','135','136','137','138','139','150','151','152','154','157','158','159','187','188')) or (ClientID='1' and sendDate is NULL) order by Priority desc,registerdate asc";
+"and left(smsSend.phoneNumber,3) in ('130','131','132','155','156','186','134','135','136','137','138','139','150','151','152','154','157','158','159','187','188')) or (ClientID='1' and sendDate is NULL) order by registerdate asc";
// System.out.println(sql);
Stmt = DBConn.createStatement();
Rs = Stmt.executeQuery(sql);
int inc = 0;
while(Rs.next())
{
String ID = Rs.getString("id");
String phoneNumber = Rs.getString("phoneNumber");//手机号
String content = StrUtil.replaceIllegalString(Rs.getString("content")); //信息
String subcode = Rs.getString("subcode");
String clientID = Rs.getString("clientID");
String sid = Rs.getString("SID");
SmsBean sb = new SmsBean();
sb.setID(ID);
sb.setPhoneNumber(phoneNumber);
sb.setContent(content);
sb.setSubcode(subcode);
sb.setClientID(clientID);
sb.setSid(sid);
smslist.add(sb);
inc++;
}
for(int i=0;i<smslist.size();i++)
{
SmsBean sb = (SmsBean)smslist.get(i);
SmsThread ut = new SmsSendClientBatchNew().new SmsThread(sb.getID(),sb.getPhoneNumber(),sb.getContent(),sb.getSubcode(),sb.getClientID(),sb.getSid());
threads.add(ut);
ut.start();
//判断每开启8个线程就开始等待,等待到该8个线程执行完毕,然后将该8个线程清空,然后再开启后面的8个。
if(inc>=10)
{
System.out.println("信息发送量估计会大于10条信息,接着发!");
}
else
{
System.out.println("信息发送量小于10条信息,休息5秒!");
Thread.sleep(5000);
}
}
该方法比第一种方法的效率要高点,同时也减少了对数据库的操作。
------------------------------------------------------
对以上方法的改良,上一种方式也存在缺点,比如如果有24条数据,第一条线程处理8条,第2条处理8条,第三条处理6条,如果第一条线程提比后面两条处理的都快很多,那么先处理完成的线程将被浪费,我们可以采用线程池的概念。
与数据库连接池类似的是,线程池会启动大量的空闲线程,程序将一个RUNNABLE对象的线程给线程池,线程池就会启动一挑线程来执行该对象的RUN方法,当RUN方法执行结束后,该线程不会死亡,而是再次返回线程池中成为空闲状态,等待执行下一个RUNABLE对象的RUN方法。
JDK1.5提供了一个EXECUTORS工厂类来产生线程池,该工厂类包含如下几个静态工厂方法来创建线程池:
1、newCachedThreadPool(): 创建一个具有缓存功能的线程池,系统根据需要创建线程,这些线程将会被缓存在线程池中。
2.newFixedThreadPool(int n):创建一个可重用的具有固定线程数的线程池。
3.newSingleThreadExecutor():创建一个只有单线程的线程池,他相当于newFixedThreadPool方法时传入参数为1
4.newScheduledThreadPool(int corePoolSize):创建具有指定线程数的线程池,他可以再制定延迟后执行线程任务,corePoolSize指池中所保存的线程数,即使线程是空闲的也被保存在线程池内。
5.newSingleThreadScheduledExecutor()创建一个只有一条线程的线程池,它可以再制定延迟后执行线程任务。
以上5个方法前三个返回一个 ExecutorService对象,该对象代表一个线程池,他可以执行RUNNABLE对象或CALLABLE对象所代表的线程。
EXECUTORSERVICE代表尽快执行线程的线程池(只要线程池中有空闲线程立即执行线程任务),程序只要将一个RUNNABLE或CALLABLE对象提交给线程池即可,该线程池就会尽快执行该任务。他提供了三个方法:
1. Future<?> submit(Runnable task):将一个RUNNABLE对象提交给指定的线程池,线程池将在有空闲线程时执行对象所代表的任务,其中FUTURE对象代表RUNNABLE人物的返回值,但RUN方法没有返回值,所以FUTURE对象将在RUN方法执行结束后返回NULL,但可以调用FUTURE的isDone(),isCancelled()方法获得 runnable对象的执行状态。
2.Future<T> submit(Runnable task,T result):将一个RUNNABLE对象提交给指定的线程池,线程池将在空闲线程时候执行对象的任务,RESULT显示指定线程执行结束后的返回值,所以FUTURE对象将在RUN方法执行结束后返回RESULT。
3.Future<T> submit(Callable<T> task):将一个Callable对象提交给指定的线程池,线程池将在空闲线程时候执行对象的任务,FUTURE代表将在RUN方法执行结束后返回值。
代码:
首先开启具有8个固定线程的线程池。
public ExecutorService pool = Executors.newFixedThreadPool(8);
private void sendSmsLoop() throws Exception {
threads.clear();
smslist.clear();
String sql =""
+"select top 80 "
+"smsSend.id "
+",smsSend.phoneNumber "
+",smsSend.content "
+",smsSend.subcode "
+",smsSend.clientID "
+",smsSend.SID "
+"from "
+"smsSend_temp_tuping as smsSend "
+"where "
+"(smsSend.handleFlag = 0 "
//+"and datediff(minute, smsSend.registerDate, getDate()) < 30 "
+"and left(smsSend.phoneNumber,3) in ('130','131','132','155','156','186','134','135','136','137','138','139','150','151','152','154','157','158','159','187','188')) or (ClientID='1' and sendDate is NULL) order by registerdate asc";
// System.out.println(sql);
Stmt = DBConn.createStatement();
Rs = Stmt.executeQuery(sql);
int inc = 0;
while(Rs.next())
{
String ID = Rs.getString("id");
String phoneNumber = Rs.getString("phoneNumber");//手机号
String content = StrUtil.replaceIllegalString(Rs.getString("content")); //信息
String subcode = Rs.getString("subcode");
String clientID = Rs.getString("clientID");
String sid = Rs.getString("SID");
SmsBean sb = new SmsBean();
sb.setID(ID);
sb.setPhoneNumber(phoneNumber);
sb.setContent(content);
sb.setSubcode(subcode);
sb.setClientID(clientID);
sb.setSid(sid);
smslist.add(sb);
inc++;
}
for(int i=0;i<smslist.size();i++)
{
SmsBean sb = (SmsBean)smslist.get(i);
SmsThread ut = new SmsSendClientBatchPool().new SmsThread(sb.getID(),sb.getPhoneNumber(),sb.getContent(),sb.getSubcode(),sb.getClientID(),sb.getSid());
//开启一个线程,并将该线程放入到线程池中,然后将该线程的返回值放入到一个List<Future> 的结合中,用来保存所开启线程的返回结果。
if(inc>=10)
{
System.out.println("信息发送量估计会大于10条信息,接着发!");
}
else
{
System.out.println("信息发送量小于10条信息,休息5秒!");
Thread.sleep(5000);
}
}
用了线程池以后,如果一次取80条数据,原来每次要用8个线程来发,但是线程池每次也许只用5-6个就可以用来发送8条信息了。因为有可能第一个用完的线程在发送第7条信息的时候又被拿出来用。
- 源码.rar (9.4 KB)
- 下载次数: 23
发表评论
-
JVM调优总结
2019-07-10 17:14 371https://www.cnblogs.com/andy-zh ... -
JAVA RESULTSET 使用详解
2012-03-20 21:01 3157调用ResultSet中的last()方法时,提示: java ... -
JAVA采用JDBC执行批处理操作注意的问题
2012-03-20 20:50 1978让我们看看如何使用JDBC API在Java中执行批量插入。虽 ... -
java 各种加密算法详细比较
2012-03-15 11:07 2293本篇内容简要介绍BASE64、MD5、SHA、HMAC几种加密 ... -
java:大数据文件写入,读取,分割,排序,合并
2012-03-05 20:21 2036/** * 大数据排序合并 * * @param ar ... -
JAVA 连接池,方便在平时使用
2012-02-21 15:03 1032java连接池使用 -
Java动态代理实现
2012-02-28 09:19 1000Java动态代理实现 在目前的Java开发包中包含 ... -
Java Socket实战之五 使用加密协议传输对象
2012-02-16 13:49 1127本文地址:http://blog.csdn.net/kongx ... -
Java Socket实战之四 传输压缩对象
2012-02-16 13:48 1016转载:http://blog.csdn.net/kongxx/ ... -
Java Socket实战之三 传输对象
2012-02-16 13:48 683转载:http://blog.csdn.net/kongxx/ ... -
Java Socket实战之二 多线程通信
2012-02-16 13:47 1150本文地址:http://blog.csdn.net/kongx ... -
Java Socket实战之一 单线程通信
2012-02-16 13:46 1023转载:http://blog.csdn.net/kongx ... -
java5 新增线程池的使用
2012-02-09 09:26 1156package net.itdos.concurrent; ... -
P2P之UDP穿透NAT的原理与实现
2012-01-11 11:03 1252关键词: P2P UDP NAT 原理 穿透 Traveral ... -
火车票网上订票软件
2012-01-11 09:05 1911JAVA程序GOHOME自动抢票成功!非常棒~~~不多说,直接 ... -
java tcp/ip 通讯服务端和客户端
2011-12-15 08:20 1358java tcp/ip 通讯服务端和客户端 -
java 读取服务器上的某个文件,并解决UTF-8 BOM文件的问号问题
2011-11-28 15:16 1435JAVA读取UTF-8 BOM文件的时候会在文件头产生一个?号 ... -
JAVA 多线程学习笔记
2011-10-12 09:03 1071JAVA 多线程学习笔记 -
XBlink 1.0.0版发布,更轻、更快、更好用
2011-10-09 14:47 1314XBlink 1.0.0版发布,更轻、更快、更好用。 ... -
db4o 文件整理(收缩)
2011-09-29 22:26 1483一直都不敢大胆使用db4o,不是因为它不好用,不稳定,而 ...
相关推荐
在编程领域,多线程并发处理是一种常见的优化技术,它能充分利用多核处理器的资源,提高程序的执行效率。在给定的标题“多线程并发处理的简单实现”中,我们可以深入探讨如何构建这样的系统。 首先,多线程并发处理...
在Java编程中,多线程并发是提升程序执行效率、充分利用多核处理器资源的重要手段。本文将基于"java 多线程并发实例"这个主题,深入探讨Java中的多线程并发概念及其应用。 首先,我们要了解Java中的线程。线程是...
通过以上方法,我们可以在Java中有效地利用多线程处理数据库数据,提高程序的并发能力和效率。记得在设计时充分考虑线程间的协作与同步,以及数据库连接的管理和优化,以确保程序的稳定性和性能。
标题"WEBAPI多线程并发测试工具"指出,这是一个专门针对Web API进行多线程并发测试的工具。Web API通常指的是应用程序接口,它们允许不同的服务之间进行通信,以实现数据交换和功能整合。多线程并发测试则是验证在多...
在C++编程中,多线程日志处理是一项重要的任务,尤其在高并发环境中,能够有效地记录、管理和分析系统运行时的信息。C++11引入了标准库中的`<thread>`,使得多线程编程变得更加方便,同时也为日志处理带来了新的挑战...
"基于Qt的多线程并发服务器"是一个典型的解决方案,它利用了Qt库的强大功能,特别是其对多线程的支持,来处理来自多个客户端的并发请求。下面我们将深入探讨这个主题。 首先,Qt是一个跨平台的应用程序开发框架,...
本工具设计的多线程并发处理数据流,很可能是针对这样的场景,每个线程负责处理一部分数据,从而减少了等待I/O操作完成的时间。 实现多线程处理时,需要注意以下几个关键点: 1. **线程安全**:当多个线程访问共享...
在现代软件开发中,多线程并发技术是提高程序性能和响应速度的关键因素之一。随着计算机硬件的性能持续提升,程序也必须能够有效地利用多核处理器来实现真正的并行处理。JVM(Java虚拟机)作为Java应用程序的运行...
在编程领域,多线程并发处理是提升程序执行效率的关键技术之一。Qt库提供了一个强大的模块——qtconcurrent,使得开发者能够轻松地在Qt应用程序中实现多线程并行计算。本文将深入探讨qtconcurrent模块,以及如何在Qt...
在处理大量图像或需要快速响应时间的应用场景中,多线程并发识别可以显著提升效率。以下将详细介绍如何利用Tesseract OCR实现多线程并发识别,以及可能涉及的相关技术点。 首先,理解Tesseract OCR的基本工作原理是...
在计算机科学中,多线程并发处理是一种编程技术,它允许多个线程在同一时间执行,从而提升程序的效率和响应速度。特别是在现代处理器架构中,多线程并发处理是利用多核处理器资源的关键手段。以下是对给定文件中可能...
在IT行业中,模拟摄像头与多线程并发处理是两个重要的技术领域,特别是在视频通信和网络编程中。本文将深入探讨“模拟摄像头libuv支持多线程并发”这一主题,结合“模拟IPC”这一标签,以及文件名称“IpcSimulate”...
这里,我们主要探讨的是如何通过编写多线程并发程序来优化应用程序的性能,提高系统的处理能力。 首先,多线程是指在一个进程中同时执行多个线程。线程是操作系统调度的基本单位,它允许程序同时执行多个任务。多...
总的来说,"c# IPCO多线程并发业务处理"DEMO是一个展示C# Socket通信和多线程并发处理能力的实践案例,适用于学习和研究高并发网络服务的开发。通过深入分析和理解这个DEMO,开发者可以提升在并发处理和网络编程方面...
一种典型的多线程并发服务器架构如下: - **主监听线程**:负责接收客户端连接请求。 - **工作线程池**:由多个工作线程组成,负责处理具体的客户端请求。 **3. 示例代码片段** 下面是一个简单的多线程服务器示例...
- **并发处理**:服务器需要能够同时处理多个客户端的连接请求,这就需要用到多线程并发处理技术。每个新连接都会启动一个新线程,使得服务器可以同时处理多个客户端的数据传输。 4. **缓冲区管理**: 服务器维护...
但同时,多线程并发也会引入一些问题,如数据竞争和同步问题。 为了解决这些问题,Java提供了多种同步机制。`synchronized`关键字用于控制对共享资源的访问,确保同一时间只有一个线程可以执行特定代码块,从而避免...
在Linux下基于socket多线程并发通信的实现中,服务器端和客户端都是使用多线程技术来处理客户的请求。在服务器端,一旦出现客户发出的请求,服务器可以开启一个子线程来接受、处理客户的相关请求,从而获取来自客户...
此外,需要注意的是,多线程环境下可能存在竞态条件、死锁等问题,需要合理使用`synchronized`关键字或`Lock`接口来保证数据的一致性和安全性。另外,适当的错误处理和日志记录也是必不可少的,以确保程序的健壮性。...