- 浏览: 609983 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
kangh:
转载的也拿出来 都不试一下 完全错误
Nginx+ffmpeg的HLS开源服务器搭建配置及开发详解 -
wangtxlz:
#cd builders/cmake#cmake .系统提示命 ...
crtmpserver流媒体服务器的介绍与搭建 -
hnraysir:
支持支持支持
手机Android音视频采集与直播推送,实现单兵、移动监控类应用 -
wuent:
把web服务器和php框架绑定到一起?真不建议这样。。。
Swoole(PHP高级Web开发框架) -
wuent:
有更详细的性能比较吗?php,python,java
PHP中的(伪)多线程与多进程
/** * NIO —— MappedByteBuffer 分割拷贝大文件 * @throws FileNotFoundException * @throws IOException * @author sdylag * time: 2011-10-01 1:49 * * * 测试:拷贝4.96GB 电影:720p高清阿凡达178分钟加长收藏版.mkv 用时:4分钟0.1秒 * 机器配置:联想Z460 i5CPU 2.53GHz 4GB内存 500GB硬盘 1GB显存 * */ public static void NioCopyFile(String sourcePath , String targetPath) throws FileNotFoundException, IOException { long before = System.currentTimeMillis(); File files = new File(sourcePath); //源文件 File filet = new File(targetPath); //目标文件 long size = files.length(); // 文件总大小 long copycount = size * 2 / Integer.MAX_VALUE; //获取读、写之和所占用虚拟内存 倍数 int copynum = copycount >= 1 ? (int) copycount + 2 : (int) copycount + 1; // 根据倍数确认分割份数 long countSize = Integer.MAX_VALUE / copynum; //每块分割大小<每次读写的大小> long lontemp = countSize; //初始读、写大小 FileChannel channels = new RandomAccessFile(files, "r").getChannel(); //得到映射读文件的通道 FileChannel channelt = new RandomAccessFile(filet, "rw").getChannel(); //得到映射写文件的通道 long j = 0; // 每次循环累加字节的起始点 MappedByteBuffer mbbs = null; // 声明读源文件对象 MappedByteBuffer mbbt = null; // 声明写目标文件对象 while (j < size) { mbbs = channels.map(FileChannel.MapMode.READ_ONLY, j, lontemp); //每次读源文件都重新构造对象 mbbt = channelt.map(FileChannel.MapMode.READ_WRITE, j, lontemp); //每次写目标文件都重新构造对象 for (int i = 0; i < lontemp; i++) { byte b = mbbs.get(i); //从源文件读取字节 mbbt.put(i, b); //把字节写到目标文件中 } System.gc(); //手动调用 GC <必须的,否则出现异常> System.runFinalization(); //运行处于挂起终止状态的所有对象的终止方法。<必须的,否则出现异常> j += lontemp; //累加每次读写的字节 lontemp = size - j; //获取剩余字节 lontemp = lontemp > countSize ? countSize : lontemp; //如果剩余字节 大于 每次分割字节 则 读取 每次分割字节 ,否则 读取剩余字节 } System.out.println("MillTime : " + (double) (System.currentTimeMillis() - before) / 1000 + "s"); }
分割多文件:
public static void NioSpilitFile(String sourcePath, String targetPath) throws FileNotFoundException, IOException { long before = System.currentTimeMillis(); File files = new File(sourcePath); // 源文件 long size = files.length(); // 文件总大小 long copycount = size * 2 / Integer.MAX_VALUE; // 获取读、写之和所占用虚拟内存 倍数 int copynum = copycount >= 1 ? (int) copycount + 2 : (int) copycount + 1; // 根据倍数确认分割份数 long countSize = Integer.MAX_VALUE / copynum; // 每块分割大小<每次读写的大小> long lontemp = countSize; // 初始读、写大小 long target_lontemp = lontemp; FileChannel channels = new RandomAccessFile(files, "r").getChannel(); // 得到映射读文件的通道 long j = 0; // 每次循环累加字节的起始点 MappedByteBuffer mbbs = null; // 声明读源文件对象 int x=0; while (j < size) { String temp_targetPath = targetPath+System.getProperty("file.separator")+x+"_"+files.getName(); System.out.println(temp_targetPath); x++; File filet = new File(temp_targetPath); // 目标文件 FileChannel channelt = new RandomAccessFile(filet, "rw").getChannel(); // 得到映射写文件的通道 MappedByteBuffer mbbt = null; // 声明写目标文件对象 mbbs = channels.map(FileChannel.MapMode.READ_ONLY, j, lontemp); // 每次读源文件都重新构造对象 mbbt = channelt.map(FileChannel.MapMode.READ_WRITE, 0, target_lontemp); // 每次写目标文件都重新构造对象 for (int i = 0; i < lontemp; i++) { byte b = mbbs.get(i); // 从源文件读取字节 mbbt.put(i, b); // 把字节写到目标文件中 } System.gc(); // 手动调用 GC <必须的,否则出现异常> System.runFinalization(); // 运行处于挂起终止状态的所有对象的终止方法。<必须的,否则出现异常> j += lontemp; // 累加每次读写的字节 lontemp = size - j; // 获取剩余字节 lontemp = lontemp > countSize ? countSize : lontemp; // 如果剩余字节 大于 // 每次分割字节 则 // 读取 每次分割字节 // ,否则 // 读取剩余字节 } System.out.println("MillTime : " + (double) (System.currentTimeMillis() - before) / 1000 + "s"); }
发表评论
-
并发队列ConcurrentLinkedQueue和阻塞队列LinkedBlockingQueue用法
2015-03-17 11:01 1154在Java多线程应用中,队列的使用率很高,多数生产消费模型的 ... -
RabbitMQ (五)主题(Topic)
2015-02-27 17:05 0转载请标明出处:http://blog.csdn.net/l ... -
RabbitMQ (四) 路由选择 (Routing)
2015-02-27 17:04 0上一篇博客我们建立了一个简单的日志系统,我们能够广播日志消 ... -
RabbitMQ (三) 发布/订阅
2015-02-27 17:02 1248转发请标明出处:http://blog.csdn.net/l ... -
RabbitMQ (二)工作队列
2015-02-27 17:01 1294转载请标明出处:http:/ ... -
RabbitMQ 入门 Helloworld
2015-02-27 17:00 1190转载请标明出处:http://blog.csdn.net/l ... -
生成文本聚类java实现 (3)
2014-05-25 22:25 771很多网友看到我的聚类的研究,到后来基本上都是到car ... -
生成文本聚类java实现 (2)
2014-05-25 22:23 1417Java代码 4.从剩余的词中提取文本 ... -
生成文本聚类java实现 (1)
2014-05-25 22:23 1110本章主要的学习是中文分词 和两种统计词频(传统词频和T ... -
JAVA中List、Map、Set的区别与选用
2013-04-30 01:19 961类层次关系如下: Collection ├List│├L ... -
一个简单的MongoDB操作类
2013-03-15 10:04 0import java.net.UnknownHostExc ... -
Java设计模式总结
2013-02-20 23:03 0常见模式分类: 主要模式的定义和描述: ... -
mongodb——java封装(id自增,gridFS)
2013-01-30 20:08 2034/** * 数据库接口 * @author tho ... -
做MongoDB并发测试
2013-01-30 17:13 1056com.mongodb.MongoOptions源代码,其中有 ... -
【MongoDB for Java】Java操作MongoDB
2013-01-27 18:23 903上一篇文章: http://www.cnblogs.com ... -
java泛型
2012-11-30 11:21 0什么是泛型? 泛型(Generic type 或者 gen ... -
Java synchronized详解
2012-11-30 10:27 0第一篇: 使用synchronized 在编写一个类 ... -
BufferedImage与byte[]互转
2012-11-19 23:51 1292转载自:http://www.cnblogs.com/XL ... -
网络BMP图片本地保存
2012-11-19 23:50 934import java.awt.image.BufferedI ... -
图形数字的识别算法: 车牌识别及验证码识别的一般思路
2012-11-17 19:24 0图形数字的识别算法: 车牌识别及验证码识别的一般思路 本文源自 ...
相关推荐
Java NIO——Java NIO——Java NIO
### Java NIO 处理超大数据文件的知识点详解 #### 一、Java NIO简介 Java NIO(New IO)是Java平台上的新输入/输出流API,它提供了与传统IO(即Java IO)不同的数据处理方式。NIO在Java 1.4版本引入,并在后续版本...
Java NIO,全称为Non-blocking Input/Output,是Java在1.4版本引入的一个新特性,旨在提供一种更高效、更灵活的I/O操作方式。相比于传统的BIO(Blocking I/O),NIO允许我们以非阻塞的方式读写数据,提高了系统资源...
- **直接内存(Direct Byte Buffer)**:Java NIO中的直接缓冲区可以分配在JVM堆外内存,减少从Java对象到本机内存的拷贝,从而实现零拷贝。 - **mmap(Memory Mapped File)**:Java的FileChannel提供了一个映射...
Java NIO支持多种类型的通道,包括文件通道(FileChannel)、套接字通道(SocketChannel)和服务器套接字通道(ServerSocketChannel)等。通道可以同时进行读写操作,并且可以实现异步读写。 2. **缓冲区(Buffers...
本类,是专门为了处理大文件,按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想: 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件结束 ...
java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java NIO和java并发编程的书籍java...
`NIOServer.java`和`NIOClient.java`这两个文件很可能是用于演示Java NIO服务器端和客户端的基本操作。下面将详细介绍Java NIO的主要组件和工作原理,并结合这两个文件名推测它们可能包含的内容。 1. **Selector...
Java NIO系列教程(一) Java NIO 概述 Java NIO系列教程(二) Channel Java NIO系列教程(三) Buffer Java NIO系列教程(四) Scatter/Gather Java NIO系列教程(五) 通道之间的数据传输 Java NIO系列教程(六)...
本类,是专门为了处理大文件,按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想: 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件...
Java NIO,全称为Non-Blocking Input/Output(非阻塞输入/输出),是Java平台中用于替代标准I/O(BIO)模型的一种新机制。NIO在Java 1.4版本引入,提供了更高效的数据处理和通道通信方式,特别适用于高并发、大数据...
在本篇文章中,我们将深入探讨Java NIO如何读取文件。 一、NIO的基本概念 1. 缓冲区(Buffer):NIO的核心组件,用于存储数据。Java提供了多种Buffer类,如ByteBuffer、CharBuffer、IntBuffer等,分别对应不同数据...
在这个主题中,我们将深入探讨Java NIO如何用于写文件,特别是在处理大数据文件时如何提高性能。 首先,理解Java NIO的基本概念非常重要。NIO中的“N”代表“非阻塞”,这意味着在进行I/O操作时,程序可以继续执行...
Java NIO 深入探讨了 1.4 版的 I/O 新特性,并告诉您如何使用这些特性来极大地提升您所写的 Java 代码的执行效率。这本小册子就程序员所面临的有代表性的 I/O 问题作了详尽阐述,并讲解了 如何才能充分利用新的 I/O ...
在给定的压缩包文件中,我们关注的是"FastCopyFile.java"、"UseFloatBuffer.java"以及NIO中的文件锁功能。 首先,让我们详细了解一下`FastCopyFile.java`。这个文件很可能是一个示例程序,演示了如何使用Java NIO...
4. **文件系统(File Systems)**:NIO提供FileChannel和FileLock用于处理文件系统操作,支持随机访问、映射到内存(MappedByteBuffer)等功能。 三、Java NIO的工作流程 1. **打开通道**:首先,我们需要创建一个或多...
本篇将详细探讨Java NIO在写文件方面的应用。 1. **通道(Channels)** 在Java NIO中,数据的读取和写入都是通过通道(Channel)进行的。通道可以理解为连接到I/O设备的桥梁,例如文件、网络套接字等。要使用NIO写...
Java NIO(New IO)是一个可以替代标准Java IO API的IO API(从Java 1.4开始),Java NIO提供了与标准IO不同的IO工作方式。 Java NIO: Channels and Buffers(通道和缓冲区) 标准的IO基于字节流和字符流进行操作的,...
使用MappedByteBuffer,NIO可以将文件映射到内存,使得文件操作如同操作内存一样快速,特别适合大数据处理。 在实际应用中,Java NIO通常用于高性能的服务器编程,例如在开发聊天服务器、Web服务器或游戏服务器时...