public class OrderReadThread implements Runnable {
private List<Map<String, Object>> orderList;
private BaseDalClient dalClient;
private Map<String, Object> params;
private int totalRecords;
private CyclicBarrier cyclicBarrier;
@SuppressWarnings({ "rawtypes", "unchecked" })
@Override
public void run() {
// 每个线程分页查询,最终将结果放入公共的orderList
Page<?> pageInfo = dalClient.queryForListPage("eps.UserRegisterServiceImpl.selectOrderList", params,
totalRecords);
List tempList = pageInfo.getList();
orderList.addAll(tempList);
try {
// 子线程执行结束,等待其他未执行完的线程,如果所有线程都执行结束即执行同步线程
cyclicBarrier.await();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (BrokenBarrierException e) {
e.printStackTrace();
}
}
public void setOrderList(List<Map<String, Object>> orderList) {
this.orderList = orderList;
}
public void setDalClient(BaseDalClient dalClient) {
this.dalClient = dalClient;
}
public void setParams(Map<String, Object> params) {
this.params = params;
}
public void setTotalRecords(int totalRecords) {
this.totalRecords = totalRecords;
}
public void setCyclicBarrier(CyclicBarrier cyclicBarrier) {
this.cyclicBarrier = cyclicBarrier;
}
}
public class FileWriteTaskThread implements Runnable {
private List<Map<String, Object>> orderList;
public FileWriteTaskThread(List<Map<String, Object>> orderList) {
this.orderList = orderList;
}
@Override
public void run() {
System.out.println("****************将所有子线程统计的最终的结果保存到文件中F*******************");
String outFileName = "order" + getCurrentTimeStr() + ".txt";
String outFilePath = "d:/order/" + outFileName;
BufferedWriter bw = null;
try {
bw = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(outFilePath), "UTF-8"));
for (Map<String, Object> order : orderList) {
StringBuilder line = new StringBuilder(200);
line.append(MapUtils.getString(order, "b2corderno", "")).append(",")
.append(MapUtils.getString(order, "phonenum", "")).append(",")
.append(MapUtils.getString(order, "customername", "")).append(",")
.append(MapUtils.getString(order, "customeraddress", "")).append(",")
.append(MapUtils.getString(order, "suppliercode", ""));
bw.write(line.toString());
bw.newLine();
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (bw != null) {
IOUtils.closeQuietly(bw);
}
}
}
private String getCurrentTimeStr() {
Date d = new Date();
SimpleDateFormat format = new SimpleDateFormat("yyyyMMddHHmmss");
return format.format(d);
}
}
/**
* 每次查询1000条
*/
private static final int PERCENT_DOWNLOAD_NUM = 1000;
public static void main(String[] args) {
// 启动Spring容器
ApplicationContext context = new FileSystemXmlApplicationContext(
"file:src/main/webapp/WEB-INF/applicationContext.xml");
// 获取数据库操作类
BaseDalClient dalClient = context.getBean("dalClient", BaseDalClient.class);
// 查询总记录数
int totalRecords = dalClient
.queryForObject("eps.UserRegisterServiceImpl.selectOrderCount", null, Integer.class);
int temp = totalRecords / PERCENT_DOWNLOAD_NUM;
int queryCount = (totalRecords % PERCENT_DOWNLOAD_NUM) != 0 ? temp + 1 : temp;
List<Map<String, Object>> orderList = Collections.synchronizedList(new ArrayList<Map<String, Object>>());// 线程安全的List
// 同步辅助类,当所有子线程全部执行结束后来执行不同辅助类指定的同步线程FileWriteTaskThread
CyclicBarrier cyclicBarrier = new CyclicBarrier(queryCount, new FileWriteTaskThread(orderList));
for (int i = 1; i <= queryCount; i++) {
Map<String, Object> params = new HashMap<String, Object>();
params.put("pageSize", PERCENT_DOWNLOAD_NUM);
params.put("page", i);
OrderReadThread orderReadThread = new OrderReadThread();
orderReadThread.setDalClient(dalClient);
orderReadThread.setOrderList(orderList);
orderReadThread.setParams(params);
orderReadThread.setTotalRecords(totalRecords);
orderReadThread.setCyclicBarrier(cyclicBarrier);
// 启动多线程来从数据库中分页读取数据
Thread thread = new Thread(orderReadThread);
thread.start();
}
}
分享到:
相关推荐
在实现多线程数据库操作时,需要注意以下关键点: - **事务管理**:多线程可能会引发并发控制问题,比如脏读、不可重复读和幻读。使用数据库提供的事务机制(如ACID属性)和隔离级别可以避免这些问题。 - **数据库...
### Java多线程分页查询知识点详解 #### 一、背景与需求分析 在实际的软件开发过程中,尤其是在处理大量数据时,如何高效地进行数据查询成为了一个关键问题。例如,在一个用户众多的社交平台上,当用户需要查看...
1. **大数据量处理**:当数据库中的数据达到百万甚至亿级时,单线程查询可能导致响应时间过长,用户体验下降。因此,采用有效的方法对大量数据进行处理至关重要。 2. **多线程**:多线程是并发编程的一种方式,允许...
总结起来,通过多线程和JDBC的结合,我们可以高效地处理和返回海量数据,避免内存压力和单线程的性能瓶颈。这种技术适用于大数据分析、后台服务或其他需要大量读取数据库的应用场景。在实际操作中,应根据具体的业务...
然而,由于其同步机制,效率相对较低,现代开发中更推荐使用ArrayList或LinkedList等非同步容器,除非在多线程环境下。 4. **分页逻辑**: 分页的逻辑通常包括计算总页数、当前页数、上一页和下一页的链接等。在...
在Java开发中,将数据库中的数据导出到Excel文件是一项常见的需求,特别是在处理大量数据时。本项目专注于解决百万级数据的高效导出问题,同时兼容MySQL和Oracle两大主流数据库。下面将详细介绍这个主题涉及的关键...
8. **异步查询**:在多线程或多进程环境中,异步查询能提高系统的并发处理能力,避免阻塞主线程。 9. **错误处理与日志**:良好的错误处理机制和日志记录功能,便于调试和问题排查。 10. **性能优化**:类库可能...
- OLTP服务推荐使用MTS(多线程服务器)连接类型,也可通过配置实现特定批处理服务的专用服务器连接。 - **数据库SGA配置**: - 可采用手动配置或按物理内存比例配置。 - 在设计初期按比例配置,在实际应用中根据...
通过使用 `DBHelper`,开发者可以将更多的精力放在业务逻辑上,而不是数据库操作的细节。 `DBHelper.cs` 文件很可能包含了 `DBHelper` 类的所有实现。这个类通常会有一个构造函数来初始化数据库连接字符串,以及一...
8. 多线程与数据库:在并发环境下,Java的synchronized关键字和Lock接口可以用来控制对数据库的访问,防止数据不一致。 9. 数据库优化:包括索引优化、查询优化、存储过程、触发器的使用等,提高数据库性能。 10. ...
例如,在一个包含成千上万条记录的数据库表中进行查询时,一次性加载所有数据不仅会消耗大量的服务器资源,而且也会导致客户端界面响应缓慢甚至卡顿。因此,为了提高用户体验和系统的性能,通常会采用分页技术来优化...
2.4 数据库连接类型选择:Oracle 数据库有专用服务器连接类型和多线程服务器 MTS 连接类型。对于批处理服务,需要专用服务器连接方式,而对于 OLTP 服务则 MTS 的连接方式比较合适。 2.5 数据库 SGA 配置:数据库 ...
在实际开发中,这样的类通常会被设计成线程安全的,以适应多线程环境,并且可能还会结合DAO(数据访问对象)模式,进一步封装数据库操作。了解并熟练掌握这些概念,对于编写高效、安全的数据库操作代码至关重要。
数据库连接类型分为专用服务器和多线程服务器(MTS)。批量处理服务推荐专用服务器,而OLTP服务则更适合MTS。不过,MTS可以通过配置适应某些批处理任务。数据库SGA可以手动配置或按物理内存比例配置,初期通常按比例...
- **检索**: 从一组数据中找出满足特定条件的数据项的过程。 - **算法**: 顺序搜索、二分搜索等。 #### 三、操作系统 **操作系统的基本概念、主要功能和分类** - **概念**: 操作系统是管理和控制计算机硬件与软件...
Oracle数据库支持两种主要的连接类型:专用服务器模式和多线程服务器(MTS)模式。对于批处理任务,推荐使用专用服务器连接,以确保资源的独占性;而MTS模式则更适合于OLTP服务,因其能更高效地利用资源。在实际设计...
然而,需要注意的是,由于GIL(全局解释器锁)的存在,Python的多线程在CPU密集型任务上并不一定比单线程快,但在IO密集型任务(如网络请求和文件读写)中,多线程能显著提升效率。 在爬取新浪微博相册时,开发者...
在上述场景中,由于一个名为ApiAutotest的客户端程序通过多线程调用接口,使用了异常大的分页参数(如`offset=1800000`和`limit=500`),导致数据库被过度负荷。正常情况下,分页设计应考虑到用户体验和服务器性能,...