0 0

关于IO处理的问题5

有谁对于处理IO方面有很深的了解?

我这里有一个数据结构,想要存储到硬盘上,要求还能保证数据结构的完整性,load进内存的时候可以直接用,但是怎么能把他最快的写入到文件中呢?当然该数据结构很大,最大的时候会有2^32-1的长度

另外还有一个文件中一个字符串有120万行,每行大概30个字符左右,我怎么把他快速load进内存,以便进一步处理,进一步处理就是将这个大字符串拆分成N个小子串,比如说ABCDEFGHIJKLMN按照长度为5拆分的话,就拆分ABCDE、BCDEF、CDEFG等等。

谁比较了解这方面的东西,深刻求教!!!

注:我是使用Java语言的
2012年10月05日 12:59

3个答案 按时间排序 按投票排序

0 0

1. 直接序列化使用ObjectOutputStream
2. 文件不是很大1,200,000 × 60 一个GB都不到,内存大的话直接读进来就好

2012年10月07日 14:59
0 0

要求还能保证数据结构的完整性: 需要使用如外键(即要建一个索引文件保证)

2012年10月06日 10:02
0 0

这个需要采用流式技术InputStream加入到内存,不应该一次性加入,因为你的数据量太大。

2012年10月05日 22:15

相关推荐

    java io处理 方法

    java io处理 方法java io处理 方法

    逻辑IO与物理IO 逻辑IO与物理IO 逻辑IO与物理IO

    逻辑IO与物理IO的主要区别在于对IO端口的处理方式。在一些体系结构中,例如PowerPC、m68k等,IO端口被映射到内存空间中,称为内存映射方式,CPU可以直接使用内存访问指令与这些端口交互。这种方式简化了CPU与外设的...

    Java的例外处理和IO流

    异常处理在IO流操作中尤为重要,因为文件可能存在或不存在,网络连接可能出现问题,或者其他各种错误可能导致流操作失败。因此,通常会在IO操作中使用`try-catch`块来捕获和处理可能出现的异常。 总结: Java的异常...

    Java IO处理类的汇总

    Java IO处理类是Java平台中用于输入输出操作的核心部分,它允许程序与各种类型的输入源(如文件、网络连接)以及输出目标(如显示器、打印机)进行交互。本篇文章将全面解析Java IO处理类,包括基本概念、常用类库、...

    已待解决user 的IO问题

    以下是关于IO问题的一些关键知识点: 1. **操作系统中的IO模型**: - 同步与异步:同步IO操作会阻塞执行,直到操作完成;异步IO则允许程序在等待IO完成期间继续执行其他任务。 - 阻塞与非阻塞:阻塞IO在等待数据...

    S7-1200PLC报警提示IO设备故障,但IO设备都正常的故障诊断及处理办法.docx

    当S7-1200 PLC出现“IO设备故障”报警,但在实际检查中所有IO模块都显示正常时,这通常意味着存在一些非直观的问题需要深入诊断。以下是一些可能的原因和处理方法: 1. **通信问题**:尽管IO模块状态良好,但通信...

    操作系统IO处理

    操作系统复习资料,IO中断处理的FLASH,希望可以帮助大家更好的掌握这一章的只是要点以及内容。

    cpp-通用并发IO数据处理框架

    在实现并发IO处理时,还需要考虑同步和互斥的问题。C++提供了多种同步机制,如互斥锁(mutex)、条件变量(condition_variable)和原子操作(atomic)。在Zinx框架中,合理使用这些工具可以保证数据的一致性和避免竞...

    关于IO性能的测试工具

    关于IO性能的测试工具——Oracle Orion 在IT领域,尤其是数据库管理和系统性能优化方面,IO(输入/输出)性能的测试与分析至关重要。它直接影响着系统的响应速度、数据处理能力和用户体验。Oracle Orion作为一款...

    网络IO模型:同步IO和异步IO,阻塞IO和非阻塞IO

    - **NIO(Non-blocking IO)**:NIO提供了非阻塞的能力,通过选择器可以同时处理多个连接,提高了系统的并发性。适合大量短连接的服务器。 - **AIO(Asynchronous IO)**:也称为NIO.2,它提供了异步I/O操作,...

    RAPIDIO嵌入式系统互连_rapidio中文协议_rapidio嵌入式_

    6. **应用实例**:展示 RapidIO 在无线通信、军事、航空、视频处理等领域的实际应用案例。 通过学习这本书,读者不仅可以了解 RapidIO 协议的基本原理,还能掌握如何在实际项目中运用这些知识。对于那些需要处理高...

    Linux文件IO跟标准IO总结

    标准IO处理缓冲,可以提高性能,因为它会批量处理数据,减少与内核的交互次数。此外,标准IO还支持文本模式(自动处理换行符转换)和二进制模式。但是,标准IO并不直接与文件系统交互,而是通过系统调用间接操作,...

    IO总结处理

    根据给定的信息,本文将对Java IO的基本概念及其在文件操作中的应用进行详细的解析与总结。...以上就是Java IO中关于文件操作的基础知识点,掌握了这些基本操作对于后续学习更复杂的IO操作将会有很大帮助。

    (源码)基于JavaNIO框架的网络IO处理系统.zip

    # 基于Java NIO框架的网络IO处理系统 ## 项目简介 本项目是一个基于Java NIO(非阻塞IO)框架的网络IO处理系统。通过使用Java NIO的多路复用技术,系统能够高效地处理多个客户端的连接和IO操作。项目涵盖了从基本...

    java.io.CharConversionException: isHexDigit处理

    Java.io.CharConversionException: isHexDigit 处理详解 Java.io.CharConversionException: isHexDigit 是 Java 中一种常见的异常,通常发生在传输数据时编码不正确或 URL 传值时出现问题。本文将对该异常进行详细...

    Java IO commons-io-2.5.jar

    4. 字符集转换:`Charsets` 类提供了对常用字符集的支持,使得在处理编码问题时更加方便。 5. 对象序列化:`SerializationUtils` 提供了序列化和反序列化对象的实用方法,简化了对象的持久化过程。 6. 文件比较:`...

    rapidIO嵌入式系统互连_rapidio_rapidIO嵌入式系统互连_rapidio嵌入式_嵌入式_

    RapidIO的设计目标是为了解决传统总线架构在处理大量并发数据流时的瓶颈问题,特别是在分布式系统、多处理器系统以及网络设备中。它提供了低延迟、高带宽、低功耗的解决方案,使得嵌入式系统能够更好地处理实时数据...

    socket.io,socket.io-client下载

    1. **服务器端设置**:在Node.js项目中,导入`socket.io`模块,初始化服务器并监听特定端口,然后使用`io.on('connection', (socket) => {})`来处理新连接和事件。 2. **客户端连接**:在Java或Android应用中,导入...

    drawio.js源码

    通过深入研究drawio.js,开发者不仅可以学习到图形渲染、事件处理等技术,还能了解到如何构建一个高效、易用的在线绘图平台。在未来的工作中,掌握这些知识点将有助于开发出更多创新的图形应用。

Global site tag (gtag.js) - Google Analytics