多线程并发开卡卡号重复问题

younglibin

浏览: 1211768 次
性别:
来自: 北京

最近访客更多访客>>

u010277881

Asdpboy

yhtppp

java_dotar_01

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

博客分类：

工作经验技巧感悟

<div class="iteye-blog-content-contain" style="font-size: 14px;">
Ø 问题背景
之前写过一个单线程程序，从数据库查询卡号的，今天要做批量导入，发现单线程太慢，于是修改为多线程方式，只是在前段开了多线程，以为就OK了，谁知问题这时就出现了，由于有实务问题，事物是在县城内开启的，这样就导致了每一个线程就是一个事物，就导致事物之内更新的数据在其他线程读不到。
 
 
<div class="quote_title">多线程开启写道</div>
<div class="quote_div">/** * 异步多线程导入 */ public void batchRelateAllExternalCardThread( List<ExternalCard> externalCardList, int type) throws InterruptedException { long startTime = System.currentTimeMillis(); ConcurrentLinkedQueue<ExternalCard> clQueue = new ConcurrentLinkedQueue<ExternalCard>( externalCardList); ExecutorService es = Executors.newFixedThreadPool(THREAD_NUM); for (int i = 0; i < THREAD_NUM; i++) { es.execute(new RelateCardThread(clQueue, type)); } boolean next = true;// 主线程退出标记 while (next) { if (THREAD_NUM == threadNum.get()) { es.shutdown(); // 这里是让线程池推出使用的，但是主线程并没有退出 if (es.isShutdown()) { next = false; } } else { Thread.sleep(5000); } } }</div>
 
<div class="quote_title">线程执行写道</div>
<div class="quote_div">class RelateCardThread implements Runnable { private ConcurrentLinkedQueue<ExternalCard> clQueue; private int type; public RelateCardThread(ConcurrentLinkedQueue<ExternalCard> clQueue, int type) { this.clQueue = clQueue; this.type = type; } public void run() { int count = 0; while (!clQueue.isEmpty()) { logger.info("=============================================" + Thread.currentThread().getId() + "执行：" + count); ExternalCard ec = clQueue.poll(); if (null != ec) { relateExternalCard(ec, type); } count++; } threadNum.getAndIncrement(); } }</div>
 
<div class="quote_title">写道</div>
<div class="quote_div">private void relateExternalCard(ExternalCard ec, int type) { resultInfo = cardCtlService.activeOtherCardAndRelateCard( mbTemp, merchant, ec, ec.getCardType(), null, WebCommonContents.ExternalCardRelateSource.CRM .getCode()); }}}</div>
 
<pre name="code" class="java">@Transactional(value = "trade", readOnly = false, propagation = Propagation.REQUIRED)
@Override
public ResultInfo activeOtherCardAndRelateCard(){

//在这个方法中需要同步获取这个对象，之前我们采用的 synchronized 的
 cardRecord = cardRecordBizService.selectCardRecord(cardRecord);

}</pre>
 
 
 
 
通过上面伪代码，可以看出整个代码逻辑：
1. 并行计算每个线程对部分卡进行开卡、激活。
2. selectCardRecord方法加了线程同步锁处理，意图解决卡号重复问题。
3. 事务Transaction在线程内，因此每个线程开启一个事务，导入数据不在一个大事务中，效率较高也保证批量多个卡激活互不影响，每个卡激活一个独立事务处理。
 
 
Ø 问题分析
开发对selectCardRecord加了线程同步锁，但仍然出现卡号重复。实际上，再仔细查看代码逻辑，会发现，卡号流水并不通过代码维护，而是通过数据库的激活标识flag维护。每次SQL取出一条没有激活的卡号，然后设置为激活。
 
问题出在并发和事务的关系上，虽然代码试图线程同步，但数据库事务提交先后顺序并不受代码控制。
 <img src="http://dl2.iteye.com/upload/attachment/0101/9683/c54ef4e4-8298-3824-9469-022c91f0df6f.png" alt=""> 
1. Time1时刻，线程1开启事务T1，获取第一个可用的卡号ID=1
2. Time1’时刻，线程2开启事务T2，由于T1未提交，所以仍然获取可用的卡号ID=1
3. Time2时刻，T1提交，将标识更改为true
4. Time2’时刻，T2提交，再次更改标识为true
 
T1，T2返回了相同的ID=1的卡号，导致卡号重复。这是典型的脏读问题。
 
 
尝试解决方案：
最开始想到了使用脏的的问题，于是我们叫事物级别修改为：isolation = Isolation.READ_UNCOMMITTED
这是虽然读到的卡号不重复了，但是，我么在更新卡信息的时候，考虑到是藏读引起的，么有起到隔离作用，这是就在想到行锁，使用行锁后，发现解决了这个问题，且由于所范围的缩小，加快了多线程的效率；
 
Ø 解决方案
分析出原因后，有多种可行的改法。Postgres默认隔离级别是读提交read committed，在代码改动较小的前提下，我们可以选择对读数据加行锁，阻塞其他读直到事务提交。
数据库的锁从粒度上简单说有两种(实际比这个要多，只说最简单情况)：
1. 表级锁
2. 行级锁
 
从锁行为上分：
1. 共享锁
2. 排它锁
 
我们的需求是对数据的读取加锁，阻塞其他事务读取相同行，不同行的数据不阻塞。根据这个需求，代码最小改动的方案如下：
 String id = executeQuery(‘select id from trade.card_record where batch=xxx and flag=false limit 1 for update’);
 
对select读加行级排它锁，这样就达到了我们的目的。 原有代码中的synchronized没有任何作用，去掉即可。
 
Ø 测试结果
并发冲突问题验证解决，改为并行计算后，40w数据导入测试结果预计2小时，提高4倍。根据硬件和线程数的不同，效率会有所波动。
 
Ø 案例总结
这个bug实际上是未考虑到并发情况而产生的，一直埋藏在软pos的代码中多年。并行计算加重了并发的程度，才会很容易暴露这个bug。
 
在程序代码设计中，对于系统中“唯一流水号”这样的情况，我们要特别重视并发的访问，同时要考虑事务、线程之间的数据一致性。希望通过这个案例，让大家认识到事务的概念。
</div>

查看图片附件

分享到：

Spring 中bean 的生命周期 | 淘宝druid工具使用

2014-10-14 17:41
浏览 1403
评论(0)
分类:编程语言
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论