`

慎用ArrayList的contains方法,使用HashSet的contains方法代替

    博客分类:
  • java
 
阅读更多

在启动一个应用的时候,发现其中有一处数据加载要数分钟,刚开始以为是需要load的数据比较多的缘故,查了一下数据库有6条左右,但是单独写了一 个数据读取的方法,将这6万多条全部读过来,却只需要不到10秒钟,就觉得这里面肯定有问题,于是仔细看其中的逻辑,其中有一段数据去重的逻辑,就是记录 中存在某几个字段相同的,就认为是重复数据,就需要将重复数据给过滤掉。这里就用到了一个List来存放这几个字段所组成的主键,如果发现相同的就不处 理,代码无非就是下面这样:

 

  1. List<string> uniqueKeyList = new ArrayList<string>();  
  2. //......  
  3. if (uniqueKeyList.contains(uniqueKey)) {  
  4.                     continue;  
  5.                 }  
  6. </string></string>  


根据键去查找是不是已经存在了,来判断是否重复数据。经过分析,这一块耗费了非常多的时候,于是就去查看ArrayList的contains方法的源码,发现其最终会调用他本身的indexOf方法:

  1. public int indexOf(Object elem) {  
  2.     if (elem == null) {  
  3.         for (int i = 0; i < size; i++)  
  4.         if (elementData[i]==null)  
  5.             return i;  
  6.     } else {  
  7.         for (int i = 0; i < size; i++)  
  8.         if (elem.equals(elementData[i]))  
  9.             return i;  
  10.     }  
  11.     return -1;  
  12.     }  

原来在这里他做的是遍历整个list进行查找,最多可能对一个键的查找会达到6万多次,也就是会扫描整个List,验怪会这么慢了。

于是将原来的List替换为Set:

 

  1. Set<string> uniqueKeySet = new HashSet<string>();  
  2. //......  
  3. if (uniqueKeySet.contains(uniqueKey)) {  
  4.                     continue;  
  5.                 }  


速度一下就上去了,在去重这一块最多花费了一秒钟,为什么HashSet的速度一下就上去了,那是因为其内部使用的是Hashtable,这是HashSet的contains的源码:

  1. public boolean contains(Object o) {  
  2.     return map.containsKey(o);  
  3.     }  


如果不知道为什么使用Hash就变快了,可以看一下我的另外一篇文章:Java中hashCode的作用

分享到:
评论

相关推荐

    Java中ArrayList的removeAll方法详解

    为了优化removeAll方法的性能,可以使用迭代器遍历ArrayList中的元素,然后使用HashSet的contains方法判断该元素是否在另外一个集合中。如果在,则删除该元素。这种实现机制的时间复杂度为O(m),far less than O(m*n...

    Java基础加强_ArrayList_HashSet的比较及Hashcode分析

    5. 使用场景:ArrayList适合需要按顺序访问元素的情况,HashSet适合需要快速查找、插入和删除且不关心顺序的场景。 在实际开发中,选择ArrayList还是HashSet应根据具体需求来决定。理解这两个数据结构的特点以及...

    用java实现的栈,通过使用ArrayList的方法

    此方法是通过java提供的ArrayList方法对栈的实现;

    Java中ArrayList的使用方法以及与vector的对比

    Java 中 ArrayList 的使用方法以及与 Vector 的对比 ArrayList 是 Java 中的一种动态数组,它提供了很多有用的特性,例如动态地增加和减少元素,实现了 ICollection 和 IList 接口,灵活的设置数组的大小等。下面...

    java集合知识点详解,包括ArrayList和 HashSet以及Iterator等

    图文并茂,能让大家很好的理解java中这个重要的知识点。 此文档需要wps或者office软件来查看,如果你没有此软件,到http://www.wps.com.cn 下载wps即可查看此文档。 注:本人所有资源都是共享的,的资源分都是0!

    深入arraylist,linkedlist,hashmap,hashset源码(2012/3/18)

    `add()`、`contains()`和`remove()`方法是HashSet的关键,它们的行为与HashMap的相应方法紧密相关。 至于"Hashmap同步问题",在多线程环境下,如果不进行适当的同步控制,HashMap不是线程安全的。这意味着在并发...

    ArrayList常用的方法

    下面是一个完整的示例代码,展示了如何使用上述方法操作 `ArrayList`: ```csharp using System; using System.Collections; class Program { static void Main() { ArrayList arrlist = new ArrayList(); //...

    HashSet类的用法.pdf

    可以使用`addAll()`方法从另一个集合(例如`ArrayList`)中添加元素到`HashSet`中。 ```java ArrayList&lt;String&gt; list = new ArrayList(); list.add("第二个元素"); list.add("第三个元素"); hs.addAll(list);...

    集合ArrayList测试集合ArrayList测试集合ArrayList测试

    如果需要在多线程环境下使用,可以考虑使用`Collections.synchronizedList`方法对`ArrayList`进行同步,或者使用`CopyOnWriteArrayList`。 4. **效率比较**:相比于`LinkedList`,`ArrayList`在插入和删除元素时...

    arraylist使用方法

    本篇将详细介绍ArrayList的使用方法,并结合给定的代码示例来解释如何在实际项目中应用。 首先,ArrayList的主要特点包括: 1. 动态性:ArrayList的大小不是固定的,可以随着添加或移除元素自动增长或缩小。 2. ...

    jni操作arraylist对象

    4. **调用ArrayList的add方法**:现在我们有了所有必要的元素,可以调用ArrayList的`add`方法了。 ```c++ env-&gt;CallBooleanMethod(listObj, addMethod, intValue); ``` 5. **处理可能出现的异常**:在JNI中,Java...

    java中数组列表ArrayList的使用.doc

    Java 中数组列表 ArrayList 的使用 ArrayList 是 Java 中的一种...此外,ArrayList 还有很多其他的方法和属性,例如 Clear、Contains、IndexOf 等,大家可以查看 MSDN,了解更多关于 ArrayList 的使用方法和技巧。

    Java中ArrayList的使用方法简单介绍

    总结来说,Java中ArrayList的去重可以通过HashSet转换实现,或者使用循环比较并移除重复元素的方式。在实际应用中,根据具体的需求(如是否保持原有顺序、性能要求等)选择合适的方法。同时,理解不同数据结构如...

    学生管理系统(使用ArrayList)

    6. 学生排序:使用Collections工具类的`sort()`方法,可以对ArrayList进行排序,如按照学号升序排列。 在实践中,为了提高代码的可读性和可维护性,我们还会遵循面向对象原则,将相关的操作封装到一个名为`...

    用C语言模拟ArrayList

    下面,我们将深入探讨如何用C语言实现ArrayList及其相关的知识点。 首先,`Array.c`文件通常会包含ArrayList的核心实现,包括数据结构定义、初始化、添加元素、删除元素、查找元素等函数。在C语言中,我们可以通过...

    java ArrayList的使用与分析

    - **转换为数组**:如示例所示,可以使用 `toArray` 方法将 ArrayList 转换为数组:`Int32[] values = (Int32[])list.toArray(new Int32[0]);` - **从数组创建 ArrayList**:`ArrayList list = new ArrayList...

    JavaScript 实现基础 ArrayList 功能

    为了提供更丰富的功能,还可以实现更多的方法,如清空ArrayList的`clear`方法、检查是否包含特定值的`contains`方法、合并两个ArrayList的`concat`方法等。 ```javascript ArrayList.prototype.clear = function() ...

    测试ArrayList和LinkedList的add方法

    测试ArrayList和LinkedList的add方法

    C# ArrayList、HashSet、HashTable、List、Dictionary的区别详解

    List&lt;T&gt; 是 ArrayList 的泛型版本,它不再需要装箱拆箱,直接取,直接用,它基本与 ArrayList 一致,不过在使用的时候要先设置好它的类型,而设置好类型之后,不是这种类型的数据,是不允许 Add 进去的。 HashTable...

Global site tag (gtag.js) - Google Analytics