`

多线程从数据库中分页读,单线程将所有结果保存的数据库

    博客分类:
  • Java
阅读更多
public class OrderReadThread implements Runnable {

    private List<Map<String, Object>> orderList;
    private BaseDalClient dalClient;
    private Map<String, Object> params;
    private int totalRecords;
    private CyclicBarrier cyclicBarrier;

    @SuppressWarnings({ "rawtypes", "unchecked" })
    @Override
    public void run() {
        // 每个线程分页查询,最终将结果放入公共的orderList
        Page<?> pageInfo = dalClient.queryForListPage("eps.UserRegisterServiceImpl.selectOrderList", params,
                totalRecords);
        List tempList = pageInfo.getList();

        orderList.addAll(tempList);
        try {
            // 子线程执行结束,等待其他未执行完的线程,如果所有线程都执行结束即执行同步线程
            cyclicBarrier.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (BrokenBarrierException e) {
            e.printStackTrace();
        }
    }

    public void setOrderList(List<Map<String, Object>> orderList) {
        this.orderList = orderList;
    }

    public void setDalClient(BaseDalClient dalClient) {
        this.dalClient = dalClient;
    }

    public void setParams(Map<String, Object> params) {
        this.params = params;
    }

    public void setTotalRecords(int totalRecords) {
        this.totalRecords = totalRecords;
    }

    public void setCyclicBarrier(CyclicBarrier cyclicBarrier) {
        this.cyclicBarrier = cyclicBarrier;
    }

}



public class FileWriteTaskThread implements Runnable {

    private List<Map<String, Object>> orderList;

    public FileWriteTaskThread(List<Map<String, Object>> orderList) {
        this.orderList = orderList;
    }

    @Override
    public void run() {
        System.out.println("****************将所有子线程统计的最终的结果保存到文件中F*******************");

        String outFileName = "order" + getCurrentTimeStr() + ".txt";
        String outFilePath = "d:/order/" + outFileName;
        BufferedWriter bw = null;
        try {
            bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(outFilePath), "UTF-8"));
            for (Map<String, Object> order : orderList) {
                StringBuilder line = new StringBuilder(200);

                line.append(MapUtils.getString(order, "b2corderno", "")).append(",")
                        .append(MapUtils.getString(order, "phonenum", "")).append(",")
                        .append(MapUtils.getString(order, "customername", "")).append(",")
                        .append(MapUtils.getString(order, "customeraddress", "")).append(",")
                        .append(MapUtils.getString(order, "suppliercode", ""));

                bw.write(line.toString());
                bw.newLine();
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (bw != null) {
                IOUtils.closeQuietly(bw);
            }
        }

    }

    private String getCurrentTimeStr() {
        Date d = new Date();
        SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
        return format.format(d);
    }

}



 /**
     * 每次查询1000条
     */
    private static final int PERCENT_DOWNLOAD_NUM = 1000;

    public static void main(String[] args) {
        // 启动Spring容器
        ApplicationContext context = new FileSystemXmlApplicationContext(
                "file:src/main/webapp/WEB-INF/applicationContext.xml");
        // 获取数据库操作类
        BaseDalClient dalClient = context.getBean("dalClient", BaseDalClient.class);
        // 查询总记录数
        int totalRecords = dalClient
                .queryForObject("eps.UserRegisterServiceImpl.selectOrderCount", null, Integer.class);

        int temp = totalRecords / PERCENT_DOWNLOAD_NUM;
        int queryCount = (totalRecords % PERCENT_DOWNLOAD_NUM) != 0 ? temp + 1 : temp;

        List<Map<String, Object>> orderList = Collections.synchronizedList(new ArrayList<Map<String, Object>>());// 线程安全的List
        // 同步辅助类,当所有子线程全部执行结束后来执行不同辅助类指定的同步线程FileWriteTaskThread
        CyclicBarrier cyclicBarrier = new CyclicBarrier(queryCount, new FileWriteTaskThread(orderList));
        for (int i = 1; i <= queryCount; i++) {
            Map<String, Object> params = new HashMap<String, Object>();
            params.put("pageSize", PERCENT_DOWNLOAD_NUM);
            params.put("page", i);

            OrderReadThread orderReadThread = new OrderReadThread();
            orderReadThread.setDalClient(dalClient);
            orderReadThread.setOrderList(orderList);
            orderReadThread.setParams(params);
            orderReadThread.setTotalRecords(totalRecords);
            orderReadThread.setCyclicBarrier(cyclicBarrier);

            // 启动多线程来从数据库中分页读取数据
            Thread thread = new Thread(orderReadThread);
            thread.start();
        }
    }
分享到:
评论

相关推荐

    java 多线程数据库操作

    在实现多线程数据库操作时,需要注意以下关键点: - **事务管理**:多线程可能会引发并发控制问题,比如脏读、不可重复读和幻读。使用数据库提供的事务机制(如ACID属性)和隔离级别可以避免这些问题。 - **数据库...

    java多线程分页查询

    ### Java多线程分页查询知识点详解 #### 一、背景与需求分析 在实际的软件开发过程中,尤其是在处理大量数据时,如何高效地进行数据查询成为了一个关键问题。例如,在一个用户众多的社交平台上,当用户需要查看...

    大数据量多线程执行分页查询

    1. **大数据量处理**:当数据库中的数据达到百万甚至亿级时,单线程查询可能导致响应时间过长,用户体验下降。因此,采用有效的方法对大量数据进行处理至关重要。 2. **多线程**:多线程是并发编程的一种方式,允许...

    多线程以JDBC的方式返回海量数据

    总结起来,通过多线程和JDBC的结合,我们可以高效地处理和返回海量数据,避免内存压力和单线程的性能瓶颈。这种技术适用于大数据分析、后台服务或其他需要大量读取数据库的应用场景。在实际操作中,应根据具体的业务...

    单纯的jsp页面动态分页

    然而,由于其同步机制,效率相对较低,现代开发中更推荐使用ArrayList或LinkedList等非同步容器,除非在多线程环境下。 4. **分页逻辑**: 分页的逻辑通常包括计算总页数、当前页数、上一页和下一页的链接等。在...

    java实现数据库表数据导出Excel百万级(支持mysql,oralce)

    在Java开发中,将数据库中的数据导出到Excel文件是一项常见的需求,特别是在处理大量数据时。本项目专注于解决百万级数据的高效导出问题,同时兼容MySQL和Oracle两大主流数据库。下面将详细介绍这个主题涉及的关键...

    通用数据库数据搜索类库源代码

    8. **异步查询**:在多线程或多进程环境中,异步查询能提高系统的并发处理能力,避免阻塞主线程。 9. **错误处理与日志**:良好的错误处理机制和日志记录功能,便于调试和问题排查。 10. **性能优化**:类库可能...

    oracle数据库设计规范

    - OLTP服务推荐使用MTS(多线程服务器)连接类型,也可通过配置实现特定批处理服务的专用服务器连接。 - **数据库SGA配置**: - 可采用手动配置或按物理内存比例配置。 - 在设计初期按比例配置,在实际应用中根据...

    DBHelper 数据库帮助类

    通过使用 `DBHelper`,开发者可以将更多的精力放在业务逻辑上,而不是数据库操作的细节。 `DBHelper.cs` 文件很可能包含了 `DBHelper` 类的所有实现。这个类通常会有一个构造函数来初始化数据库连接字符串,以及一...

    Java典型应用彻查1000例第四卷:数据库应用基础(源码+PPT+习题).rar

    8. 多线程与数据库:在并发环境下,Java的synchronized关键字和Lock接口可以用来控制对数据库的访问,防止数据不一致。 9. 数据库优化:包括索引优化、查询优化、存储过程、触发器的使用等,提高数据库性能。 10. ...

    分页显示大量数据

    例如,在一个包含成千上万条记录的数据库表中进行查询时,一次性加载所有数据不仅会消耗大量的服务器资源,而且也会导致客户端界面响应缓慢甚至卡顿。因此,为了提高用户体验和系统的性能,通常会采用分页技术来优化...

    oracle数据库物理设计原则概述.pdf

    2.4 数据库连接类型选择:Oracle 数据库有专用服务器连接类型和多线程服务器 MTS 连接类型。对于批处理服务,需要专用服务器连接方式,而对于 OLTP 服务则 MTS 的连接方式比较合适。 2.5 数据库 SGA 配置:数据库 ...

    数据库操作类

    在实际开发中,这样的类通常会被设计成线程安全的,以适应多线程环境,并且可能还会结合DAO(数据访问对象)模式,进一步封装数据库操作。了解并熟练掌握这些概念,对于编写高效、安全的数据库操作代码至关重要。

    Oracle9i 数据库设计指引全集.doc

    数据库连接类型分为专用服务器和多线程服务器(MTS)。批量处理服务推荐专用服务器,而OLTP服务则更适合MTS。不过,MTS可以通过配置适应某些批处理任务。数据库SGA可以手动配置或按物理内存比例配置,初期通常按比例...

    计算机三级数据库技术大纲

    - **检索**: 从一组数据中找出满足特定条件的数据项的过程。 - **算法**: 顺序搜索、二分搜索等。 #### 三、操作系统 **操作系统的基本概念、主要功能和分类** - **概念**: 操作系统是管理和控制计算机硬件与软件...

    Oracle9i 数据库设计指引全集

    Oracle数据库支持两种主要的连接类型:专用服务器模式和多线程服务器(MTS)模式。对于批处理任务,推荐使用专用服务器连接,以确保资源的独占性;而MTS模式则更适合于OLTP服务,因其能更高效地利用资源。在实际设计...

    Python-新浪微博相册大图多线程爬虫

    然而,需要注意的是,由于GIL(全局解释器锁)的存在,Python的多线程在CPU密集型任务上并不一定比单线程快,但在IO密集型任务(如网络请求和文件读写)中,多线程能显著提升效率。 在爬取新浪微博相册时,开发者...

    MySQL 亿级数据分页的优化

    在上述场景中,由于一个名为ApiAutotest的客户端程序通过多线程调用接口,使用了异常大的分页参数(如`offset=1800000`和`limit=500`),导致数据库被过度负荷。正常情况下,分页设计应考虑到用户体验和服务器性能,...

Global site tag (gtag.js) - Google Analytics