今天做一个网络抓取工具的时候碰到了java.util.ConcurrentModificationException这个问题,引发问题的大体代码如下:
java.util.List<ArticleDownloader> threads = new ArrayList<ArticleDownloader>();
LogUtil.info("==========开始抓取文章=============");
for (int i = 0; i < count; i++) {
ArticleDownloader thread = new ArticleDownloader();
threads.add(thread);
thread.start();
}
我在ArticleDownloader.java中做了一个检测是否完成的操作
public void run() {
checkFinish();
}
checkFinish方法如下:
public void checkFinish() {
boolean jobFinished = true;
for (ArticleDownloader downloadThread : threads) {
LogUtil.info("checkFinish:");
jobFinished &= downloadThread.jobFinished;
}
if (jobFinished) {
LogUtil.info("==========文章抓取完毕,总文章数:" + urlList.length
+ ",共耗时:" + (new Date().getTime() - start));
System.exit(0);
}
}
好了,问题来了,从API中可以看到List等Collection的实现并没有同步化,如果在多 线程应用程序中出现同时访问,而且出现修改操作的时候都要求外部操作同步化;调用Iterator操作获得的Iterator对象在多线程修改Set的时 候也自动失效,并抛出java.util.ConcurrentModificationException。这种实现机制是fail-fast,对外部 的修改并不能提供任何保证。
网上查找的关于Iterator的工作机制。Iterator是工作在一个独立的线程中,并且拥有一个 mutex锁,就是说Iterator在工作的时候,是不允许被迭代的对象被改变的。Iterator被创建的时候,建立了一个内存索引表(单链表),这 个索引表指向原来的对象,当原来的对象数量改变的时候,这个索引表的内容没有同步改变,所以当索引指针往下移动的时候,便找不到要迭代的对象,于是产生错 误。List、Set等是动态的,可变对象数量的数据结构,但是Iterator则是单向不可变,只能顺序读取,不能逆序操作的数据结构,当 Iterator指向的原始数据发生变化时,Iterator自己就迷失了方向。
知道了问题的原因,解决就很简单了:
for (int i = 0; i < count; i++) {
ArticleDownloader thread = new ArticleDownloader();
threads.add(thread);
//thread.start();将所有下载器初始化完毕后再启动
}
for (ArticleDownloader articleDownloader : threads) {
articleDownloader.start();// 统一启动线程,防止初始化过程中不正当争抢资源
}
分享到:
相关推荐
Java.util.ConcurrentModificationException 异常问题详解 ConcurrentModificationException 异常是 Java 中一个常见的异常,它发生在 Iterator 遍历集合时,集合同时被修改引起的异常。在 Java 中,集合类如 ...
java.util.ConcurrentModificationException 解决方法 在使用iterator.hasNext()操作迭代器的时候,如果此时迭代的对象发生改变,比如插入了新数据,或者有数据被删除。 则使用会报以下异常: Java.util....
在Java编程中,`java.util.ConcurrentModificationException` 是一个常见的运行时异常,通常发生在尝试并发修改集合时。这个异常的产生是由于集合类(如HashMap)的非线程安全特性,当你在一个线程中使用迭代器遍历...
项目中碰到的,记录一下解决方案
### Java.util 包详解 #### 一、概述 在Java编程中,`java.util`包提供了许多用于处理数据集合的基础类。这些类帮助开发者高效地管理数据,支持各种操作,如增删查改等。本篇文章将深入探讨`java.util`包中的主要...
在Java编程中,`ConcurrentModificationException`是一个常见的运行时异常,主要出现在多线程环境下对集合类(如List、Set、Map等)进行并发修改时。然而,这个异常不仅限于多线程环境,即使在单线程中,如果在遍历...
Java语言的Util类详细介绍 Java语言的Util类是Java开发中非常重要的一部分,它提供了一系列的类来实现基本的数据结构,如线性表、链表等。这些类均在java.util包中。 Collection接口是Java中最基本的集合接口,一...
Spring数据mongodb测试 在Collections.synchronizedList或Collections.synchronizedSet上测试spring数据mongodb ConcurrentModificationException
本篇文章将深入探讨几个常见的JAVA.BUG模式,并提供相应的解决策略和优化技巧。 一、空指针异常(NullPointerException) 这是Java中最常见的错误之一,当尝试访问一个为null的对象的成员时,程序会抛出此异常。...
- `java.util.Iterator`的改进:支持`remove()`操作,避免抛出`ConcurrentModificationException`。 ### 4. 性能优化 JDK 1.6对编译器和垃圾收集器进行了优化,提高了运行效率,例如: - **Server VM的改进**: ...
Java的`java.util.concurrent`包提供了更为高效且专门设计用于并发操作的集合。比如: - `ConcurrentHashMap`:线程安全的哈希映射,比`synchronized Map`性能更好,因为它允许不同部分独立加锁,减少了锁竞争。 ...
import java.util.ArrayList; import java.util.Iterator; public class IteratorExample { public static void main(String[] args) { ArrayList<String> names = new ArrayList(); names.add("Ada Lovelace");...
4. 如果需要更复杂的并发控制,可以使用`java.util.concurrent.locks`包下的Lock接口及其实现,如ReentrantLock,配合`tryLock()`方法进行细粒度的锁控制。 总的来说,处理多线程环境中的Java集合类时,开发者需要...
java.util.ConcurrentModificationException: mutation occurred during iteration [error] scala.collection.mutable.MutationTracker$.checkMutations(MutationTracker.scala:43) [error] scala.collection....
在Java编程语言中,集合框架(`java.util`包)提供了多种容器类来存储对象,如`List`、`Set`和`Map`等。为了遍历这些容器中的元素,Java引入了迭代器模式(Iterator Pattern),这是一种常用的设计模式,它提供了一...
1. **线程安全类**:如`java.util.concurrent.atomic`包中的原子类,如AtomicInteger、AtomicLong等,它们提供了在不使用锁的情况下实现线程安全的操作。还有`java.util.concurrent`包中的`ConcurrentHashMap`,它是...