- 浏览: 982344 次
文章分类
- 全部博客 (428)
- Hadoop (2)
- HBase (1)
- ELK (1)
- ActiveMQ (13)
- Kafka (5)
- Redis (14)
- Dubbo (1)
- Memcached (5)
- Netty (56)
- Mina (34)
- NIO (51)
- JUC (53)
- Spring (13)
- Mybatis (17)
- MySQL (21)
- JDBC (12)
- C3P0 (5)
- Tomcat (13)
- SLF4J-log4j (9)
- P6Spy (4)
- Quartz (12)
- Zabbix (7)
- JAVA (9)
- Linux (15)
- HTML (9)
- Lucene (0)
- JS (2)
- WebService (1)
- Maven (4)
- Oracle&MSSQL (14)
- iText (11)
- Development Tools (8)
- UTILS (4)
- LIFE (8)
最新评论
-
Donald_Draper:
Donald_Draper 写道刘落落cici 写道能给我发一 ...
DatagramChannelImpl 解析三(多播) -
Donald_Draper:
刘落落cici 写道能给我发一份这个类的源码吗Datagram ...
DatagramChannelImpl 解析三(多播) -
lyfyouyun:
请问楼主,执行消息发送的时候,报错:Transport sch ...
ActiveMQ连接工厂、连接详解 -
ezlhq:
关于 PollArrayWrapper 状态含义猜测:参考 S ...
WindowsSelectorImpl解析一(FdMap,PollArrayWrapper) -
flyfeifei66:
打算使用xmemcache作为memcache的客户端,由于x ...
Memcached分布式客户端(Xmemcached)
Java NIO ByteBuffer详解:http://donald-draper.iteye.com/blog/2357084
引言:
在上一篇文章中我们看了HeapByteBuffer,今天来看另外一个DirectByteBuffer。在看DirectByteBuffer之前,我们先来看一下DirectByteBuffer的父类MappedByteBuffer。
下面来看MappedByteBuffer
来看这个方法中的地址address从何而来
//获取实际的起始地址
//Buffer
再来建立MappedByteBuffer与物理内存文件映射方法load中的Bits.pageCount,Bits.pageSize()
//Bits
//Unsafe
总结:
MappedByteBuffer将缓存区数据分页存放到实际的物理内存中,并建立映射。我们一般不直接使用MappedByteBuffer,而是使用MappedByteBuffer的子类DirectByteBuffer。在后面的java.nio.channels.FileChannel相关文章中,我们回再次提到MappedByteBuffer。
引言:
在上一篇文章中我们看了HeapByteBuffer,今天来看另外一个DirectByteBuffer。在看DirectByteBuffer之前,我们先来看一下DirectByteBuffer的父类MappedByteBuffer。
//DirectByteBuffer package java.nio; import java.io.FileDescriptor; import sun.misc.Cleaner; import sun.misc.Unsafe; import sun.misc.VM; import sun.nio.ch.DirectBuffer; class DirectByteBuffer extends MappedByteBuffer implements DirectBuffer {
下面来看MappedByteBuffer
package java.nio; import java.io.FileDescriptor; import sun.misc.Unsafe; /** * A direct byte buffer whose content is a memory-mapped region of a file. *MappedByteBuffer的内容为文件的内存映射region。 * Mapped byte buffers are created via the {@link * java.nio.channels.FileChannel#map FileChannel.map} method. This class * extends the {@link ByteBuffer} class with operations that are specific to * memory-mapped file regions. *MappedByteBuffer通过java.nio.channels.FileChannel#map方法创建。MappedByteBuffer 拓展的ByteBuffer,添加了内存映射文件regions的相关操作。 * <p> A mapped byte buffer and the file mapping that it represents remain * valid until the buffer itself is garbage-collected. *在缓存被被垃圾回收器,回收之前,MappedByteBuffer和文件的映射都是有效的。 * <p> The content of a mapped byte buffer can change at any time, for example * if the content of the corresponding region of the mapped file is changed by * this program or another. Whether or not such changes occur, and when they * occur, is operating-system dependent and therefore unspecified. *MappedByteBuffer的内容可以在任何时候修改,比如映射文件相关的region内容可以被 应用或其他应用修改。修改是否起作用,依赖于具体的操作系统,因此是不确定的。 * <a name="inaccess"><p> All or part of a mapped byte buffer may become * inaccessible at any time, for example if the mapped file is truncated. An * attempt to access an inaccessible region of a mapped byte buffer will not * change the buffer's content and will cause an unspecified exception to be * thrown either at the time of the access or at some later time. It is * therefore strongly recommended that appropriate precautions be taken to * avoid the manipulation of a mapped file by this program, or by a * concurrently running program, except to read or write the file's content. *如果映射文件被删除,MappedByteBuffer的所有parts都是不可访问的。尝试访问 不会改变buffer的内容,无论在访问的时间,还是访问后,将会引起一个不确定的异常抛出。 所以强烈建议不要通过应用或并发应用程序直接操作一个映射文件,除了读写文件内容之外。 * <p> Mapped byte buffers otherwise behave no differently than ordinary direct * byte buffers. *除了上述的可读文件内容,应用不可直接操作文件映射这个不同之外,MappedByteBuffer 与一般的DirectByteBuffer没有什么不同。 * * @author Mark Reinhold * @author JSR-51 Expert Group * @since 1.4 */ public abstract class MappedByteBuffer extends ByteBuffer { // This is a little bit backwards: By rights MappedByteBuffer should be a // subclass of DirectByteBuffer, but to keep the spec clear and simple, and // for optimization purposes, it's easier to do it the other way around. // This works because DirectByteBuffer is a package-private class. //如果想要使用MappedByteBuffer,应该是DirectByteBuffer的子类,为了保证干净简单和 //最优化的目的,我们应该可以很容易地实现一个继承DirectByteBuffer的子类。 为什么是DirectByteBuffer的子类呢,这是由于DirectByteBuffer是包私有的类。 // For mapped buffers, a FileDescriptor that may be used for mapping // operations if valid; null if the buffer is not mapped. //在映射缓存中,如果文件描述符有效,文件描述可以用于映射操作。为null,则 //缓存不能映射 private final FileDescriptor fd; // This should only be invoked by the DirectByteBuffer constructors //此方法通过DirectByteBuffer的构造方法调用 MappedByteBuffer(int mark, int pos, int lim, int cap, // package-private FileDescriptor fd) { super(mark, pos, lim, cap); this.fd = fd; } MappedByteBuffer(int mark, int pos, int lim, int cap) { // package-private super(mark, pos, lim, cap); this.fd = null; } //检查文件描述符是否为null private void checkMapped() { if (fd == null) // Can only happen if a luser explicitly casts a direct byte buffer throw new UnsupportedOperationException(); } // Returns the distance (in bytes) of the buffer from the page aligned address // of the mapping. Computed each time to avoid storing in every direct buffer. //获取起始地址 private long mappingOffset() { int ps = Bits.pageSize(); long offset = address % ps; return (offset >= 0) ? offset : (ps + offset); } //获取实际的起始地址 private long mappingAddress(long mappingOffset) { return address - mappingOffset; } //返回映射地址长度 private long mappingLength(long mappingOffset) { return (long)capacity() + mappingOffset; } // not used, but a potential target for a store, see load() for details. private static byte unused;//记录,not used /** * Loads this buffer's content into physical memory. * * This method makes a best effort to ensure that, when it returns, * this buffer's content is resident in physical memory. Invoking this * method may cause some number of page faults and I/O operations to * occur. * * @return This buffer */ public final MappedByteBuffer load() { checkMapped(); //检查文件描述是否为null if ((address == 0) || (capacity() == 0))//如果地址或容量为0,返回true return this; long offset = mappingOffset();//起始地址 long length = mappingLength(offset);//计算需要的地址长度,用于分配内存 load0(mappingAddress(offset), length); // Read a byte from each page to bring it into memory. A checksum // is computed as we go along to prevent the compiler from otherwise // considering the loop as dead code. Unsafe unsafe = Unsafe.getUnsafe(); int ps = Bits.pageSize();//获取分页大小 int count = Bits.pageCount(length);//获取分页数量 long a = mappingAddress(offset); byte x = 0; //将物理内存地址与MappedByteBuffer建立映射 for (int i=0; i<count; i++) { x ^= unsafe.getByte(a); a += ps; } if (unused != 0) unused = x; return this; } private native void load0(long address, long length); /** * Tells whether or not this buffer's content is resident in physical * memory. *判断缓存的内容是否存在与实际的物理内存中 * A return value of <tt>true</tt> implies that it is highly likely * that all of the data in this buffer is resident in physical memory and * may therefore be accessed without incurring any virtual-memory page * faults or I/O operations. A return value of <tt>false</tt> does not * necessarily imply that the buffer's content is not resident in physical * memory. *当返回值为true时,缓存中数据存在物理内存中,因此访问数据不会引起虚拟机分页 或IO操作错误。false,即不在物理内存中 * <p> The returned value is a hint, rather than a guarantee, because the * underlying operating system may have paged out some of the buffer's data * by the time that an invocation of this method returns. *返回的结果是不能保证却对的正确,因为在方法调用的时候,底层的操作系统可能会 分页取出缓存中的数据。 * @return <tt>true</tt> if it is likely that this buffer's content * is resident in physical memory */ public final boolean isLoaded() { //检查文件描述是否为null checkMapped(); //如果地址或容量为0,返回true if ((address == 0) || (capacity() == 0)) return true; //起始地址 long offset = mappingOffset(); //长度 long length = mappingLength(offset); return isLoaded0(mappingAddress(offset), length, Bits.pageCount(length)); } private native boolean isLoaded0(long address, long length, int pageCount); /** * Forces any changes made to this buffer's content to be written to the * storage device containing the mapped file. *强制将缓冲区的数据改变和映射文件,写到存储设备上。 * If the file mapped into this buffer resides on a local storage * device then when this method returns it is guaranteed that all changes * made to the buffer since it was created, or since this method was last * invoked, will have been written to that device. *如果缓存的文件映射已经存储在本地设备上,调用此方法可以保证从MappedByteBuffer创建, 到当前时间,缓存的所有数据变化,写到设备上。 * <p> If the file does not reside on a local device then no such guarantee * is made. *如果文件 不存在本地设备上,则方法不能保证 * <p> If this buffer was not mapped in read/write mode ({@link * java.nio.channels.FileChannel.MapMode#READ_WRITE}) then invoking this * method has no effect. *如果缓存没有映射为java.nio.channels.FileChannel.MapMode#READ_WRITE模式,则调用方法无效 * @return This buffer */ public final MappedByteBuffer force() { checkMapped(); if ((address != 0) && (capacity() != 0)) { long offset = mappingOffset(); force0(fd, mappingAddress(offset), mappingLength(offset)); } return this; } private native void force0(FileDescriptor fd, long address, long length); }
来看这个方法中的地址address从何而来
//获取实际的起始地址
private long mappingAddress(long mappingOffset) { return address - mappingOffset; }
//Buffer
public abstract class Buffer { // Invariants: mark <= position <= limit <= capacity private int mark = -1; private int position = 0; private int limit; private int capacity; // Used only by direct buffers // NOTE: hoisted here for speed in JNI GetDirectBufferAddress //Direct buffer的物理地址 long address; }
再来建立MappedByteBuffer与物理内存文件映射方法load中的Bits.pageCount,Bits.pageSize()
public final MappedByteBuffer load() { checkMapped(); //检查文件描述是否为null if ((address == 0) || (capacity() == 0))//如果地址或容量为0,返回true return this; long offset = mappingOffset();//起始地址 long length = mappingLength(offset);//计算需要的地址长度,用于分配内存 load0(mappingAddress(offset), length); // Read a byte from each page to bring it into memory. A checksum // is computed as we go along to prevent the compiler from otherwise // considering the loop as dead code. Unsafe unsafe = Unsafe.getUnsafe(); int ps = Bits.pageSize();//获取分页大小 int count = Bits.pageCount(length);//获取分页数量 long a = mappingAddress(offset); byte x = 0; //将物理内存地址与MappedByteBuffer建立映射 for (int i=0; i<count; i++) { x ^= unsafe.getByte(a); a += ps; } if (unused != 0) unused = x; return this; }
//Bits
private static final Unsafe unsafe = Unsafe.getUnsafe(); static int pageCount(long size) { return (int)(size + (long)pageSize() - 1L) / pageSize(); } private static int pageSize = -1; static int pageSize() { if (pageSize == -1) pageSize = unsafe().pageSize(); return pageSize; } static Unsafe unsafe() { return unsafe; }
//Unsafe
public native int pageSize();
总结:
MappedByteBuffer将缓存区数据分页存放到实际的物理内存中,并建立映射。我们一般不直接使用MappedByteBuffer,而是使用MappedByteBuffer的子类DirectByteBuffer。在后面的java.nio.channels.FileChannel相关文章中,我们回再次提到MappedByteBuffer。
发表评论
-
文件通道解析二(文件锁,关闭通道)
2017-05-16 23:17 1069文件通道解析一(读写操作,通道数据传输等):http://do ... -
文件通道解析一(读写操作,通道数据传输等)
2017-05-16 10:04 1165Reference定义(PhantomRefere ... -
文件通道创建方式综述
2017-05-15 17:39 1070Reference定义(PhantomReference,Cl ... -
文件读写方式简单综述后续(文件,流构造)
2017-05-14 23:04 1486Java Socket通信实例:http://donald-d ... -
文件读写方式简单综述
2017-05-14 11:13 1136Java Socket通信实例:http://donald-d ... -
FileChanne定义
2017-05-12 23:28 942文件读写方式简单综述:http://donald-draper ... -
SeekableByteChannel接口定义
2017-05-11 08:43 1237ByteChannel,分散聚集通道接口的定义(SocketC ... -
FileChannel示例
2017-05-11 08:37 994前面我们看过socket通道,datagram通道,以管道Pi ... -
PipeImpl解析
2017-05-11 08:41 936ServerSocketChannel定义:http://do ... -
Pipe定义
2017-05-10 09:07 911Channel接口定义:http://donald-drape ... -
NIO-Pipe示例
2017-05-10 08:47 907PipeImpl解析:http://donald-draper ... -
DatagramChannelImpl 解析四(地址绑定,关闭通道等)
2017-05-10 08:27 782DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析三(多播)
2017-05-10 08:20 1910DatagramChannelImpl 解析一(初始化):ht ... -
NIO-UDP实例
2017-05-09 12:32 1587DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析二(报文发送与接收)
2017-05-09 09:03 1412DatagramChannelImpl 解析一(初始化):ht ... -
DatagramChannelImpl 解析一(初始化)
2017-05-08 21:52 1412Channel接口定义:http://donald-drape ... -
MembershipKeyImpl 简介
2017-05-08 09:11 927MembershipKey定义:http://donald-d ... -
DatagramChannel定义
2017-05-07 23:13 1230Channel接口定义:http://donald-drape ... -
MulticastChanne接口定义
2017-05-07 13:45 1140NetworkChannel接口定义:ht ... -
MembershipKey定义
2017-05-06 16:20 918package java.nio.channels; i ...
相关推荐
在上述代码中,定义了一个名为`BUFFER_SIZE`的常量,其值为3MB (0x300000字节)。这是每次读取文件时使用的缓冲区大小。使用缓冲区的优点是可以减少磁盘I/O操作的次数,从而提高性能。 2. **内存映射文件...
此外,还有一种特殊类型MappedByteBuffer,用于内存映射文件。与传统的InputStream和OutputStream相比,NIO的ByteBuffer允许非阻塞的数据传输,这意味着方法调用会立即返回,而不是等待数据完全传输完毕。 在处理...
6. **内存映射文件(Memory-Mapped File)**:Java的MappedByteBuffer允许将文件直接映射到内存,提供高性能的大数据访问。 7. **权限与访问控制**:模拟真实系统中的用户权限模型,如Unix的用户组和权限位,可以...
1. 定义数据结构:为ELF文件的各个部分创建对应的Java类,定义字段并提供getter和setter方法。 2. 文件映射:使用`MappedByteBuffer`映射整个ELF文件到内存,这样可以直接通过索引访问数据。 3. 解析头部:根据ELF...
- **Memory-Mapped Files**:使用 `MappedByteBuffer` 对象来实现对内存映射文件的访问。 - **Scatter/Gather**:允许数据从多个缓冲区写入通道,或从通道读取数据到多个缓冲区中。 - **FileLocks**:用于文件锁定的...
import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; import java.util.ArrayList; import java.util.Hashtable; import java.util.List; import java.util.regex.Matcher; import java...
在源码实现中,你可能需要定义一个方法来读取二进制文件,一个方法来修改二进制数据,以及一个方法来写回修改后的数据。每个方法都要考虑到异常处理,确保数据的安全性。 总的来说,Java提供了丰富的工具来处理二...
- `MappedByteBuffer inputBuffer = channel.map(FileChannel.MapMode.READ_ONLY, f.length()*begin_fz/begin_fm, f.length()*end_fz/end_fm);`将文件的一部分映射到内存中。 3. **数据读取** - 创建一个固定大小...
- 未识别的符号(例如#defineEMPTY等)可能属于预处理指令或宏定义,常用于C语言中,但在这里可能也是用来定义日志文件中某些特定字段的占位符。 最后,文档中提到了wtmx文件的格式及结构。在Unix系统中,wtmp文件...
5. **内存映射文件**:理解MMap的概念,学习如何使用java.nio.MappedByteBuffer进行高效的大文件处理。 6. **数据库交互**:可能涉及到JDBC(Java Database Connectivity),学习如何连接数据库、执行SQL语句以及...
- **MappedByteBuffer**: 直接映射文件到内存中的Buffer,允许直接在内存中修改文件内容,无需通过Channel读取。 - **优势**: 提高文件读写的效率。 **2. 使用** - **创建MappedByteBuffer**: 通过FileChannel的...
3. **文件操作**:使用Java的I/O流(InputStream和OutputStream)进行读写操作,`java.nio`包下的FileChannel和MappedByteBuffer可用于大文件的高效读写。新建文件和文件夹需要使用`java.io.File`类进行操作,如`...
5. **许可证文件**:定义项目使用的开源许可证,规定了代码的使用、分发和修改规则。 通过对“MemMapComm”项目的学习和实践,开发者可以深入理解Java中的内存映射文件机制,以及如何利用它来优化IPC,提升程序的...
- **文件映射(MappedByteBuffer)** - **定义**:将文件的一部分或全部映射到内存中,以提高文件访问速度。 - **创建**:通过`FileChannel.map(MapMode mode, long position, long size)`方法创建。 - **使用场景*...
在标签中提到的“i java_ipc java共享内存”可能是指Java接口(Interface)在IPC中的应用,接口可以作为进程间通信的一种约定,定义数据结构和方法签名,保证不同进程间的数据交换规范。 综上所述,Java IPC共享...
本文将深入讲解Java中`Channel`的定义、常见类型、Scatter/Gather操作、文件锁定、内存映射文件以及`DatagramChannel`的相关特性。 1. **Channel接口的定义**: `Channel`接口是所有通道类的基础,它提供了打开、...
Buffer类是所有缓冲区的基础抽象,它定义了通用的操作和属性。Buffer的主要功能包括: 1. **容量(capacity)**:表示缓冲区的总大小,一旦分配,容量通常不可更改。 2. **限制(limit)**:限制了可以读取或写入的字节...
在`JThunder`中,我们可能首先定义一个`DownloadTask`类,它封装了单个文件部分的下载逻辑,包括URL、开始位置、结束位置等信息。然后,我们可以创建一个`ThreadPoolExecutor`实例来管理这些下载任务,设置合适的...
Java NIO定义了多个Buffer类,如ByteBuffer、CharBuffer、IntBuffer等,分别对应不同数据类型。 - 在进行I/O操作时,数据先会被读入到缓冲区,然后从缓冲区中读取或写入到通道。缓冲区提供了对数据的高效管理和控制...
这些基类定义了基本的读写方法,如read()和write()。 7.1.2 流的层次结构 Java I/O系统具有丰富的类层次结构。InputStream和OutputStream层次结构包括了各种特定用途的子类,如FileInputStream和FileOutputStream...