-
java 分批读取list0
如题，现在list里面有8000条记录，怎么分批把list里面的记录插入到数据库里面。比如第一次插入1-1000条，第二次插入1001-2000条....2014年2月25日 18:02
添加评论
关注(1)4个答案 按时间排序 按投票排序
-
public static void main(String[] args) { List<Object> list = new ArrayList<Object>(); for (int i = 0; i < 8000; i++) { list.add(i); } System.out.println(list); int init = 1000;// 每隔1000条循环一次 int total = list.size(); int cycelTotal = total / init; if (total % init != 0) { cycelTotal += 1; if (total < init) { init = list.size(); } } System.out.println("循环保存的次数："+cycelTotal);//循环多少次 List list2 = new ArrayList(); for (int i = 0; i < cycelTotal; i++) { for (int j = 0; j < init; j++) { if (list.get(j) == null) { break; } list2.add(list.get(j)); } System.out.println("保存1000条数据到数据库...."); System.out.println(list2);//每次循环保存的数据输出 //接下来写保存数据库方法 //............. list.removeAll(list2);//移出已经保存过的数据 list2.clear();//移出当前保存的数据 }2014年2月27日 10:02
-
可以用分页的方式:
List<Object> tempList = new ArrayList<Object>(lists.subList((pageno-1)*pagesize, pageno*pagesize>totalSize?(totalSize):pageno*pagesize));
2014年2月25日 18:24
相关推荐
通过上述分析，我们可以看到Java读取和写入CSV文件的过程涉及到多个步骤，包括初始化读写器、循环读取或写入数据、异常处理以及资源释放。正确地理解和应用这些步骤对于高效处理CSV文件至关重要。 此外，使用日志...
List<DataBean> list = new ArrayList(); try { conn = createConnection(); // 建立数据库连接 if (conn != null) { SimpleDateFormatsdf = new SimpleDateFormat("yyyy-MM-dd"); SimpleDateFormattimesdf = ...
此外，为了提高效率，可以考虑异步读取、分批处理数据，或者利用多线程来加速数据解析。通过这种方式，我们可以高效地将Excel数据转换为Java程序可以方便操作的对象，从而实现数据的导入、分析或其他业务逻辑。
Java 使用 Esper 实现事件分批处理是大数据实时分析领域中的一种常见技术，Esper 是一个强大的事件处理引擎，尤其适用于复杂事件处理（CEP，Complex Event Processing）。在 Java 应用程序中集成 Esper 可以帮助我们...
在Java中，我们可以利用Apache POI库来处理Excel文件，它是一个强大的API，允许开发者读写Microsoft Office格式的文件，包括Excel。对于CSV文件，我们可以直接使用文件I/O操作，因为其结构相对简单。 导出`List`到...
- 性能优化：大量数据处理时，使用流式写入和分批读取可提高效率。 - 错误处理：捕获并处理可能的IOException和其他异常。 通过这样的封装，开发者可以在Java应用程序中方便地进行Excel的读写操作，无需关心具体...
对于数据导出，可能是读取数据库数据并写入文件，多线程可以并行处理不同的数据段，加快写入速度。可以使用`BufferedWriter`或`PrintWriter`来提高文件写入效率。 此外，需要注意的是，多线程环境下可能存在竞态...
在Java编程中，处理Excel文件是一项常见的任务，无论是读取数据、写入数据还是进行动态更新。本篇文章将深入探讨如何使用Java实现“边读边写”Excel的机制，特别是结合数据库中的数据List填充到Excel指定位置，并...
- 性能优化：对于大数据量的Excel文件，可能需要考虑分批读取或异步处理，避免阻塞UI线程。 通过以上方法，你可以在Java和Android环境中有效地解析和读取Excel文件，满足数据处理的需求。无论是简单的数据展示还是...
此外，如果Excel文件很大或者有大量数据，可能需要考虑分批读取和插入，以优化性能。在`insertData`方法中，可以设置合适的批量大小，避免一次性加载所有数据。同时，确保数据库字段类型与Excel数据类型匹配，以防止...
Java的`BufferedReader`和`PrintWriter`类可以轻松完成读写操作。导入时，按行读取并处理；导出时，逐行写入数据。 4. **数据管理**： 数据导入导出往往涉及大量数据，因此高效的数据管理至关重要。可以使用数据库...
处理大量数据时，考虑分批读取和写入，避免内存溢出。 7. **ReadXLS.java**： 这个文件很可能是实现上述功能的Java源代码，包含读取Excel文件、转换为Shell脚本并写入文件的逻辑。通过查看和分析这个文件，可以更...
为了解决这个问题，我们可以采用分批读取和写入数据的策略。 本实例提供的解决方案可能是利用流式处理（Streaming）或者迭代器（Iterator）来逐条读取数据库中的数据，然后将每条数据转化为CSV格式并写入文件。这样...
此外，如果你的数据库表结构复杂或数据量大，可能需要更高效的方法来处理数据，比如分批读取、多线程等。 总之，使用Java和Apache POI生成Word表格文档是一种常见的需求，尤其在自动化报告生成、数据分析等领域。...
Apache POI是一个流行的开源项目，它允许Java开发者读写Microsoft Office格式的文件，包括Word（.doc和.docx）文件。通过使用Apache POI，我们可以操作Word文档中的文本、样式、图片等各种元素。 接下来，我们要...
### Java操作Excel类详解 在IT领域，尤其是企业级应用开发中，处理Excel文件是常见的需求之一。...同时，考虑到性能问题，对于大量数据的处理，可能需要采用更高效的数据处理策略，如流式写入或分批读写等技术。
Apache POI是一个开源项目，提供了API用于读写Microsoft Office格式的文件，包括XLS（Excel 97-2003格式）和XLSX（Excel 2007及以上版本）。在导出Excel数据时，我们主要会用到HSSFWorkbook（对应老版本的XLS格式）...
导入Excel文件通常涉及到解析Excel文件的格式，如XLS或XLSX，然后将数据逐行读取并存储到合适的数据结构中，如List或Map。Java中常见的库如Apache POI或JExcelApi可以实现这样的操作。 在"创建t_student.sql"文件中...
可以使用流式处理或分批读取数据。 - 错误处理：处理文件时应捕获异常，提供有意义的错误信息。 - 安全性：避免用户上传恶意文件，对文件路径进行校验，防止路径遍历攻击。 综上，通过Java和Apache POI，我们可以...
1. **分批导出**： - 考虑将大数据集分成若干小批次，每次只处理和导出一部分数据。例如，可以按行或按特定数量的数据进行划分。 - 使用`java.util.Iterator`遍历数据源，每次迭代处理一定数量的记录，然后写入...