运用java自带线程池多线程执行任务

今天被老大交给了一个任务，对数据库中原有的数据进行一定的操作，然后放入到另外一张表中。

那么我拿到这个任务，分析了下业务逻辑就开始编码了，经过一上午的代码开发，运行测试，功能完好，但是速度实在太慢了，1000万的数据量执行了5个小时，速度必须要提上来，这时候我想到了使用多线程。

    但是问题来了，我之前没有使用过多线程，怎么办呢，百度。经过百度后，我尝试着使用java提供的线程池管理线程，进行重构这个功能，其中利用线程池管理多线程进行开发的主要代码如下：

public class ThreadWork {
    public void workWithThreads() {
        // 用线程池，开启20个线程
        ExecutorService threadPool = Executors.newFixedThreadPool(20);
        CompletionService<String> pool = new ExecutorCompletionService<String>(threadPool);
        String result = null;
        boolean flag = true;
        // 从数据库获取数据（10000条）
        List<String> ids = new ArrayList<>();// from database
        while (true) {
            if (ids != null && ids.size() > 0) {
                // 如果从数据库中取出数据为10000条，分20个线程执行,如果不够10000条，单线程执行
                if (ids.size() == 10000) {
                    for (int p = 1; p < 21; p++) {
                        pool.submit((Callable<String>) new ThreadTask(ids.subList(500 * (p - 1), 500 * p)));
                    }
                } else {
                   pool.submit((Callable<String>)new ThreadTask(ids));
                    // 因为从数据库中每次fetch first 1W条，所以当条数不等于1W条时，说明是最后一次从数据库中取数据
                    flag = false;
                }
                // 以下循环为保证所有线程执行结束
                for (int p = 1; p < 21; p++) {
                    try {
                        result = pool.take().get();
                    } catch (Exception e) {
                        // 打印错误日志 TODO
                    }
                }
            }
        }
    }
}

 

 每个线程需要做的业务逻辑在ThreadTask类中，代码如下：

public class ThreadTask implements Callable<String> {
    private List<String> ids;

    public ThreadTask(List<String> ids) {
        this.ids = ids;
    }

    @Override
    public String call() throws Exception {
        // 获取参数，执行响应的操作
        for(String id:ids){
            // 此处为对数据的操作
            System.out.println(id);
        }
        // 返回改线程的id
        return Thread.currentThread() + "";
    }
}

 经过上面多线程的处理，整个功能的速度的确提升了很高。

说到底，多线程速度快是因为最大限度的使用了cpu，执行的还是顺序的，只是利用了单线程中cpu等待、挂起等等的一些时间，cpu的利用度高了，速度也就快了。

 

另外，在使用以上线程池控制多线程时，线程的个数要设计好，系统创建和销毁线程也是需要一定时间的，设计优良，才能是多线程效果最大化。

 

第一次使用多线程，以前只是在学习的时候听老师讲个这个概念，现在记录下，希望大婶们多多提出宝贵的意见，共同学习，不胜感激！！！

评论

4 楼 guyunduzai 2014-12-05  

cywhoyi 写道

如果你是是在双核下开20个线程，我觉得你不妨尝试用10个线程左右，估计效率更加快。
线程数量跟intel内核有正比关系，也跟你单个线程执行的任务有关系，不要盲目开20个线程，线程上下文切换，时间片的轮转都会导致效率下降很多

是这样的

3 楼 guyunduzai 2014-12-05  

cugbzc 写道

写个存储过程，然后再用JAVA调起来，那用费这么多事儿

存储过程？求指教，我还真没用过，可以邮箱联系[e-mail]

2 楼 cywhoyi 2014-11-27  

如果你是是在双核下开20个线程，我觉得你不妨尝试用10个线程左右，估计效率更加快。
线程数量跟intel内核有正比关系，也跟你单个线程执行的任务有关系，不要盲目开20个线程，线程上下文切换，时间片的轮转都会导致效率下降很多

1 楼 cugbzc 2014-11-27  

写个存储过程，然后再用JAVA调起来，那用费这么多事儿