`
Donald_Draper
  • 浏览: 982344 次
社区版块
存档分类
最新评论

MappedByteBuffer定义

    博客分类:
  • NIO
阅读更多
Java NIO ByteBuffer详解:http://donald-draper.iteye.com/blog/2357084
引言:
在上一篇文章中我们看了HeapByteBuffer,今天来看另外一个DirectByteBuffer。在看DirectByteBuffer之前,我们先来看一下DirectByteBuffer的父类MappedByteBuffer。
//DirectByteBuffer
package java.nio;
import java.io.FileDescriptor;
import sun.misc.Cleaner;
import sun.misc.Unsafe;
import sun.misc.VM;
import sun.nio.ch.DirectBuffer;
class DirectByteBuffer
    extends MappedByteBuffer
    implements DirectBuffer
{

下面来看MappedByteBuffer
package java.nio;
import java.io.FileDescriptor;
import sun.misc.Unsafe;

/**
 * A direct byte buffer whose content is a memory-mapped region of a file.
 *MappedByteBuffer的内容为文件的内存映射region。
 *  Mapped byte buffers are created via the {@link
 * java.nio.channels.FileChannel#map FileChannel.map} method.  This class
 * extends the {@link ByteBuffer} class with operations that are specific to
 * memory-mapped file regions.
 *MappedByteBuffer通过java.nio.channels.FileChannel#map方法创建。MappedByteBuffer
 拓展的ByteBuffer,添加了内存映射文件regions的相关操作。
 * <p> A mapped byte buffer and the file mapping that it represents remain
 * valid until the buffer itself is garbage-collected.
 *在缓存被被垃圾回收器,回收之前,MappedByteBuffer和文件的映射都是有效的。
 * <p> The content of a mapped byte buffer can change at any time, for example
 * if the content of the corresponding region of the mapped file is changed by
 * this program or another.  Whether or not such changes occur, and when they
 * occur, is operating-system dependent and therefore unspecified.
 *MappedByteBuffer的内容可以在任何时候修改,比如映射文件相关的region内容可以被
 应用或其他应用修改。修改是否起作用,依赖于具体的操作系统,因此是不确定的。
 * <a name="inaccess"><p> All or part of a mapped byte buffer may become
 * inaccessible at any time, for example if the mapped file is truncated.  An
 * attempt to access an inaccessible region of a mapped byte buffer will not
 * change the buffer's content and will cause an unspecified exception to be
 * thrown either at the time of the access or at some later time.  It is
 * therefore strongly recommended that appropriate precautions be taken to
 * avoid the manipulation of a mapped file by this program, or by a
 * concurrently running program, except to read or write the file's content.
 *如果映射文件被删除,MappedByteBuffer的所有parts都是不可访问的。尝试访问
 不会改变buffer的内容,无论在访问的时间,还是访问后,将会引起一个不确定的异常抛出。
所以强烈建议不要通过应用或并发应用程序直接操作一个映射文件,除了读写文件内容之外。
 * <p> Mapped byte buffers otherwise behave no differently than ordinary direct
 * byte buffers. 

 *除了上述的可读文件内容,应用不可直接操作文件映射这个不同之外,MappedByteBuffer
 与一般的DirectByteBuffer没有什么不同。
 *
 * @author Mark Reinhold
 * @author JSR-51 Expert Group
 * @since 1.4
 */

public abstract class MappedByteBuffer
    extends ByteBuffer
{

    // This is a little bit backwards: By rights MappedByteBuffer should be a
    // subclass of DirectByteBuffer, but to keep the spec clear and simple, and
    // for optimization purposes, it's easier to do it the other way around.
    // This works because DirectByteBuffer is a package-private class.
    //如果想要使用MappedByteBuffer,应该是DirectByteBuffer的子类,为了保证干净简单和
    //最优化的目的,我们应该可以很容易地实现一个继承DirectByteBuffer的子类。
    为什么是DirectByteBuffer的子类呢,这是由于DirectByteBuffer是包私有的类。
     
    // For mapped buffers, a FileDescriptor that may be used for mapping
    // operations if valid; null if the buffer is not mapped.
    //在映射缓存中,如果文件描述符有效,文件描述可以用于映射操作。为null,则
    //缓存不能映射
    private final FileDescriptor fd;

    // This should only be invoked by the DirectByteBuffer constructors
    //此方法通过DirectByteBuffer的构造方法调用
    MappedByteBuffer(int mark, int pos, int lim, int cap, // package-private
                     FileDescriptor fd)
    {
        super(mark, pos, lim, cap);
        this.fd = fd;
    }

    MappedByteBuffer(int mark, int pos, int lim, int cap) { // package-private
        super(mark, pos, lim, cap);
        this.fd = null;
    }
   //检查文件描述符是否为null
    private void checkMapped() {
        if (fd == null)
            // Can only happen if a luser explicitly casts a direct byte buffer
            throw new UnsupportedOperationException();
    }

    // Returns the distance (in bytes) of the buffer from the page aligned address
    // of the mapping. Computed each time to avoid storing in every direct buffer.
    //获取起始地址
    private long mappingOffset() {
        int ps = Bits.pageSize();
        long offset = address % ps;
        return (offset >= 0) ? offset : (ps + offset);
    }
    //获取实际的起始地址
    private long mappingAddress(long mappingOffset) {
        return address - mappingOffset;
    }
   //返回映射地址长度
    private long mappingLength(long mappingOffset) {
        return (long)capacity() + mappingOffset;
    }

    // not used, but a potential target for a store, see load() for details.
    private static byte unused;//记录,not used

    /**
     * Loads this buffer's content into physical memory.
     *
     *  This method makes a best effort to ensure that, when it returns,
     * this buffer's content is resident in physical memory.  Invoking this
     * method may cause some number of page faults and I/O operations to
     * occur. 

     *
     * @return  This buffer
     */
    public final MappedByteBuffer load() {
        checkMapped(); //检查文件描述是否为null
        if ((address == 0) || (capacity() == 0))//如果地址或容量为0,返回true
            return this;
        long offset = mappingOffset();//起始地址
        long length = mappingLength(offset);//计算需要的地址长度,用于分配内存
        load0(mappingAddress(offset), length);

        // Read a byte from each page to bring it into memory. A checksum
        // is computed as we go along to prevent the compiler from otherwise
        // considering the loop as dead code.
        Unsafe unsafe = Unsafe.getUnsafe();
        int ps = Bits.pageSize();//获取分页大小
        int count = Bits.pageCount(length);//获取分页数量
        long a = mappingAddress(offset);
        byte x = 0;
	//将物理内存地址与MappedByteBuffer建立映射
        for (int i=0; i<count; i++) {
            x ^= unsafe.getByte(a);
            a += ps;
        }
        if (unused != 0)
            unused = x;

        return this;
    }
     private native void load0(long address, long length);
     /**
     * Tells whether or not this buffer's content is resident in physical
     * memory.
     *判断缓存的内容是否存在与实际的物理内存中
     *  A return value of <tt>true</tt> implies that it is highly likely
     * that all of the data in this buffer is resident in physical memory and
     * may therefore be accessed without incurring any virtual-memory page
     * faults or I/O operations.  A return value of <tt>false</tt> does not
     * necessarily imply that the buffer's content is not resident in physical
     * memory.
     *当返回值为true时,缓存中数据存在物理内存中,因此访问数据不会引起虚拟机分页
     或IO操作错误。false,即不在物理内存中
     * <p> The returned value is a hint, rather than a guarantee, because the
     * underlying operating system may have paged out some of the buffer's data
     * by the time that an invocation of this method returns.  

     *返回的结果是不能保证却对的正确,因为在方法调用的时候,底层的操作系统可能会
     分页取出缓存中的数据。
     * @return  <tt>true</tt> if it is likely that this buffer's content
     *          is resident in physical memory
     */
    public final boolean isLoaded() {
        //检查文件描述是否为null
        checkMapped();
	//如果地址或容量为0,返回true
        if ((address == 0) || (capacity() == 0))
            return true;
	//起始地址
        long offset = mappingOffset();
	//长度
        long length = mappingLength(offset);
        return isLoaded0(mappingAddress(offset), length, Bits.pageCount(length));
    }
    private native boolean isLoaded0(long address, long length, int pageCount);

    /**
     * Forces any changes made to this buffer's content to be written to the
     * storage device containing the mapped file.
     *强制将缓冲区的数据改变和映射文件,写到存储设备上。
     *  If the file mapped into this buffer resides on a local storage
     * device then when this method returns it is guaranteed that all changes
     * made to the buffer since it was created, or since this method was last
     * invoked, will have been written to that device.
     *如果缓存的文件映射已经存储在本地设备上,调用此方法可以保证从MappedByteBuffer创建,
     到当前时间,缓存的所有数据变化,写到设备上。
     * <p> If the file does not reside on a local device then no such guarantee
     * is made.
     *如果文件 不存在本地设备上,则方法不能保证
     * <p> If this buffer was not mapped in read/write mode ({@link
     * java.nio.channels.FileChannel.MapMode#READ_WRITE}) then invoking this
     * method has no effect. 

     *如果缓存没有映射为java.nio.channels.FileChannel.MapMode#READ_WRITE模式,则调用方法无效
     * @return  This buffer
     */
    public final MappedByteBuffer force() {
        checkMapped();
        if ((address != 0) && (capacity() != 0)) {
            long offset = mappingOffset();
            force0(fd, mappingAddress(offset), mappingLength(offset));
        }
        return this;
    }
   
    private native void force0(FileDescriptor fd, long address, long length);
}

来看这个方法中的地址address从何而来
//获取实际的起始地址
 private long mappingAddress(long mappingOffset) {
     return address - mappingOffset;
 }

//Buffer
 public abstract class Buffer {

    // Invariants: mark <= position <= limit <= capacity
    private int mark = -1;
    private int position = 0;
    private int limit;
    private int capacity;

    // Used only by direct buffers
    // NOTE: hoisted here for speed in JNI GetDirectBufferAddress
    //Direct buffer的物理地址
    long address;
}


再来建立MappedByteBuffer与物理内存文件映射方法load中的Bits.pageCount,Bits.pageSize()
public final MappedByteBuffer load() {
        checkMapped(); //检查文件描述是否为null
        if ((address == 0) || (capacity() == 0))//如果地址或容量为0,返回true
            return this;
        long offset = mappingOffset();//起始地址
        long length = mappingLength(offset);//计算需要的地址长度,用于分配内存
        load0(mappingAddress(offset), length);

        // Read a byte from each page to bring it into memory. A checksum
        // is computed as we go along to prevent the compiler from otherwise
        // considering the loop as dead code.
        Unsafe unsafe = Unsafe.getUnsafe();
        int ps = Bits.pageSize();//获取分页大小
        int count = Bits.pageCount(length);//获取分页数量
        long a = mappingAddress(offset);
        byte x = 0;
	//将物理内存地址与MappedByteBuffer建立映射
        for (int i=0; i<count; i++) {
            x ^= unsafe.getByte(a);
            a += ps;
        }
        if (unused != 0)
            unused = x;

        return this;
    }

//Bits
  private static final Unsafe unsafe = Unsafe.getUnsafe();
    static int pageCount(long size) {
        return (int)(size + (long)pageSize() - 1L) / pageSize();
    }
    private static int pageSize = -1;
    static int pageSize() {
        if (pageSize == -1)
            pageSize = unsafe().pageSize();
        return pageSize;
    }
  static Unsafe unsafe() {
        return unsafe;
    }

//Unsafe
public native int pageSize();


总结:

MappedByteBuffer将缓存区数据分页存放到实际的物理内存中,并建立映射。我们一般不直接使用MappedByteBuffer,而是使用MappedByteBuffer的子类DirectByteBuffer。在后面的java.nio.channels.FileChannel相关文章中,我们回再次提到MappedByteBuffer。
0
1
分享到:
评论

相关推荐

    java读取大文件

    在上述代码中,定义了一个名为`BUFFER_SIZE`的常量,其值为3MB (0x300000字节)。这是每次读取文件时使用的缓冲区大小。使用缓冲区的优点是可以减少磁盘I/O操作的次数,从而提高性能。 2. **内存映射文件...

    Android开发进阶之NIO非阻塞包[定义].pdf

    此外,还有一种特殊类型MappedByteBuffer,用于内存映射文件。与传统的InputStream和OutputStream相比,NIO的ByteBuffer允许非阻塞的数据传输,这意味着方法调用会立即返回,而不是等待数据完全传输完毕。 在处理...

    精选_基于JAVA实现的操作系统文件系统_源码打包

    6. **内存映射文件(Memory-Mapped File)**:Java的MappedByteBuffer允许将文件直接映射到内存,提供高性能的大数据访问。 7. **权限与访问控制**:模拟真实系统中的用户权限模型,如Unix的用户组和权限位,可以...

    Java解析SO(ELF)文件

    1. 定义数据结构:为ELF文件的各个部分创建对应的Java类,定义字段并提供getter和setter方法。 2. 文件映射:使用`MappedByteBuffer`映射整个ELF文件到内存,这样可以直接通过索引访问数据。 3. 解析头部:根据ELF...

    Java NIO系列教程

    - **Memory-Mapped Files**:使用 `MappedByteBuffer` 对象来实现对内存映射文件的访问。 - **Scatter/Gather**:允许数据从多个缓冲区写入通道,或从通道读取数据到多个缓冲区中。 - **FileLocks**:用于文件锁定的...

    ip地址库 很全的库

    import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; import java.util.ArrayList; import java.util.Hashtable; import java.util.List; import java.util.regex.Matcher; import java...

    打开二进制的软件 java

    在源码实现中,你可能需要定义一个方法来读取二进制文件,一个方法来修改二进制数据,以及一个方法来写回修改后的数据。每个方法都要考虑到异常处理,确保数据的安全性。 总的来说,Java提供了丰富的工具来处理二...

    java nio 包读取超大数据文件

    - `MappedByteBuffer inputBuffer = channel.map(FileChannel.MapMode.READ_ONLY, f.length()*begin_fz/begin_fm, f.length()*end_fz/end_fm);`将文件的一部分映射到内存中。 3. **数据读取** - 创建一个固定大小...

    电信DMS项目数据采集与整合分析设计.pdf

    - 未识别的符号(例如#defineEMPTY等)可能属于预处理指令或宏定义,常用于C语言中,但在这里可能也是用来定义日志文件中某些特定字段的占位符。 最后,文档中提到了wtmx文件的格式及结构。在Unix系统中,wtmp文件...

    J2SE项目_雇员管理系统_源码

    5. **内存映射文件**:理解MMap的概念,学习如何使用java.nio.MappedByteBuffer进行高效的大文件处理。 6. **数据库交互**:可能涉及到JDBC(Java Database Connectivity),学习如何连接数据库、执行SQL语句以及...

    JAVA IO-NIO 详解

    - **MappedByteBuffer**: 直接映射文件到内存中的Buffer,允许直接在内存中修改文件内容,无需通过Channel读取。 - **优势**: 提高文件读写的效率。 **2. 使用** - **创建MappedByteBuffer**: 通过FileChannel的...

    javafx模拟磁盘管理系统

    3. **文件操作**:使用Java的I/O流(InputStream和OutputStream)进行读写操作,`java.nio`包下的FileChannel和MappedByteBuffer可用于大文件的高效读写。新建文件和文件夹需要使用`java.io.File`类进行操作,如`...

    MemMapComm:代码存储库,用于使用Java的内存映射文件测试IPC

    5. **许可证文件**:定义项目使用的开源许可证,规定了代码的使用、分发和修改规则。 通过对“MemMapComm”项目的学习和实践,开发者可以深入理解Java中的内存映射文件机制,以及如何利用它来优化IPC,提升程序的...

    最新JDK教程(CHM版)

    - **文件映射(MappedByteBuffer)** - **定义**:将文件的一部分或全部映射到内存中,以提高文件访问速度。 - **创建**:通过`FileChannel.map(MapMode mode, long position, long size)`方法创建。 - **使用场景*...

    IPC.rar_IPC_java i_java ipc_java共享内存_共享内存

    在标签中提到的“i java_ipc java共享内存”可能是指Java接口(Interface)在IPC中的应用,接口可以作为进程间通信的一种约定,定义数据结构和方法签名,保证不同进程间的数据交换规范。 综上所述,Java IPC共享...

    Java中channel用法总结

    本文将深入讲解Java中`Channel`的定义、常见类型、Scatter/Gather操作、文件锁定、内存映射文件以及`DatagramChannel`的相关特性。 1. **Channel接口的定义**: `Channel`接口是所有通道类的基础,它提供了打开、...

    新IO缓冲区的输入和输出

    Buffer类是所有缓冲区的基础抽象,它定义了通用的操作和属性。Buffer的主要功能包括: 1. **容量(capacity)**:表示缓冲区的总大小,一旦分配,容量通常不可更改。 2. **限制(limit)**:限制了可以读取或写入的字节...

    多线程多任务下载的java山寨版迅雷(含源码和素材)

    在`JThunder`中,我们可能首先定义一个`DownloadTask`类,它封装了单个文件部分的下载逻辑,包括URL、开始位置、结束位置等信息。然后,我们可以创建一个`ThreadPoolExecutor`实例来管理这些下载任务,设置合适的...

    JavaNIONIO概述Java开发Java经验技巧共4页

    Java NIO定义了多个Buffer类,如ByteBuffer、CharBuffer、IntBuffer等,分别对应不同数据类型。 - 在进行I/O操作时,数据先会被读入到缓冲区,然后从缓冲区中读取或写入到通道。缓冲区提供了对数据的高效管理和控制...

    JAVA_输入输出及数据库操作.ppt

    这些基类定义了基本的读写方法,如read()和write()。 7.1.2 流的层次结构 Java I/O系统具有丰富的类层次结构。InputStream和OutputStream层次结构包括了各种特定用途的子类,如FileInputStream和FileOutputStream...

Global site tag (gtag.js) - Google Analytics