`
CshBBrain
  • 浏览: 650243 次
  • 性别: Icon_minigender_1
  • 来自: 成都
博客专栏
B7d9bf34-126e-301f-819e-81f2615b5a2a
开源WebSocket服务...
浏览量:144933
Group-logo
HTML5移动开发
浏览量:137880
社区版块
存档分类
最新评论

加快Java的文件序列化速度

 
阅读更多

转自:http://www.oschina.net/question/100267_72178

自从第一个Java版本开始,很多开发人员一直都在尝试让Java获得最少和C/C++一样的表现。JVM提供商尽他们最大的努力去实现一些新的JIT算法,但是还是有很多需要做的,特别是在我们使用Java的方法上。

例如,在对象<->文件序列化上就差距很大--尤其在读写内存对象上。我将就这个主题做一些解释和分享。

所有的测试都是在下面这个对象上执行的:

1 public class TestObject implements Serializable {
2  
3   private long longVariable;
4   private long[] longArray;
5   private String stringObject;
6   private String secondStringObject; //just for testing nulls
7  
8   /* getters and setters */
9 }

 

 

为了简单起见,我将只贴出写入方法(尽管读取类似),完整的源码在我的GitHub上可以找到(http://github.com/jkubrynski/serialization-tests

最标准的java序列化(我们都是从这里学起的)是这样的:

01 public void testWriteBuffered(TestObject test, String fileName) throwsIOException {
02   ObjectOutputStream objectOutputStream = null;
03   try {
04     FileOutputStream fos = new FileOutputStream(fileName);
05     BufferedOutputStream bos = new BufferedOutputStream(fos);
06     objectOutputStream = new ObjectOutputStream(bos);
07     objectOutputStream.writeObject(test);
08   finally {
09     if (objectOutputStream != null) {
10       objectOutputStream.close();
11     }
12   }
13 }

 

 

提升标准序列化速度的最简单方法时使用RandomAccessFile对象:

01 public void testWriteBuffered(TestObject test, String fileName) throwsIOException {
02   ObjectOutputStream objectOutputStream = null;
03   try {
04     RandomAccessFile raf = new RandomAccessFile(fileName, "rw");
05     FileOutputStream fos = new FileOutputStream(raf.getFD());
06     objectOutputStream = new ObjectOutputStream(fos);
07     objectOutputStream.writeObject(test);
08   finally {
09     if (objectOutputStream != null) {
10       objectOutputStream.close();
11     }     
12 }

 

 

更高深点的技术是使用Kryo框架,新旧版本的差距是很大的,我做过测试。因为性能比较上并没有体现出特别引人注意的差异,所以我将使用2.x版本,因为它对用户更友好而且更快些。

01 private static Kryo kryo = new Kryo(); // version 2.x
02  
03 public void testWriteBuffered(TestObject test, String fileName) throwsIOException {
04   Output output = null;
05   try {
06     RandomAccessFile raf = new RandomAccessFile(fileName, "rw");
07     output = new Output(new FileOutputStream(raf.getFD()), MAX_BUFFER_SIZE);
08     kryo.writeObject(output, test);
09   finally {
10     if (output != null) {
11       output.close();
12     }
13   }
14 }

 

 

最后一个方案是在Martin Thompson的文章中提到的(Native C/C++ Like Performance For Java Object Serialisation),介绍了怎样在Java中像C++那样和内存打交道。

01 public void testWriteBuffered(TestObject test, String fileName) throwsIOException {
02   RandomAccessFile raf = null;
03   try {
04     MemoryBuffer memoryBuffer = new MemoryBuffer(MAX_BUFFER_SIZE);
05     raf = new RandomAccessFile(fileName, "rw");
06     test.write(memoryBuffer);
07     raf.write(memoryBuffer.getBuffer());
08   catch (IOException e) {
09     if (raf != null) {
10       raf.close();
11     }
12   }
13 }

 

 

TestObject写入方法如下:

01 public void write(MemoryBuffer unsafeBuffer) {
02   unsafeBuffer.putLong(longVariable);
03   unsafeBuffer.putLongArray(longArray);
04   // we support nulls
05   boolean objectExists = stringObject != null;
06   unsafeBuffer.putBoolean(objectExists);
07   if (objectExists) {
08     unsafeBuffer.putCharArray(stringObject.toCharArray());
09   }
10   objectExists = secondStringObject != null;
11   unsafeBuffer.putBoolean(objectExists);
12   if (objectExists) {
13     unsafeBuffer.putCharArray(secondStringObject.toCharArray());
14   }
15 }

 

 

直接内存缓冲区类(已简化了的,仅仅为了展示这个思想)

01 public class MemoryBuffer {
02   // getting Unsafe by reflection
03   public static final Unsafe unsafe = UnsafeUtil.getUnsafe();
04  
05   private final byte[] buffer;
06  
07   private static final longbyteArrayOffset = unsafe.arrayBaseOffset(byte[].class);
08   private static final longlongArrayOffset = unsafe.arrayBaseOffset(long[].class);
09   /* other offsets */
10  
11   private static final int SIZE_OF_LONG = 8;
12   /* other sizes */
13  
14   private long pos = 0;
15  
16   public MemoryBuffer(int bufferSize) {
17     this.buffer = new byte[bufferSize];
18   }
19  
20   public final byte[] getBuffer() {
21     return buffer;
22   }
23  
24   public final void putLong(long value) {
25     unsafe.putLong(buffer, byteArrayOffset + pos, value);
26     pos += SIZE_OF_LONG;
27   }
28  
29   public final long getLong() {
30     long result = unsafe.getLong(buffer, byteArrayOffset + pos);
31     pos += SIZE_OF_LONG;
32     return result;
33   }
34  
35   public final void putLongArray(final long[] values) {
36     putInt(values.length);
37     long bytesToCopy = values.length << 3;
38     unsafe.copyMemory(values, longArrayOffset, buffer, byteArrayOffset + pos, bytesToCopy);
39     pos += bytesToCopy;
40   }
41  
42  
43   public final long[] getLongArray() {
44     int arraySize = getInt();
45     long[] values = new long[arraySize];
46     long bytesToCopy = values.length << 3;
47     unsafe.copyMemory(buffer, byteArrayOffset + pos, values, longArrayOffset, bytesToCopy);
48     pos += bytesToCopy;
49     return values;
50   }
51  
52   /* other methods */
53 }

 

 

几个小时的Caliper测试结果如下:

 

  Full trip [ns]  Standard deviation [ns] 
Standard   207307  2362
Standard on RAF  42661  733
KRYO 1.x   12027  112
KRYO 2.x  11479  259
Unsafe  8554  91

 

在最后我们可以得出一些结论:

  • Unsafe序列化比标准的java.io.Serizlizable快了23倍
  • 使用RandomAccessFile可以使标准的有缓冲序列化加速将近4倍
  • Kryo-dynamic序列化大约比手写实现的直接缓冲满了35%

最后,就像我们看到的那样,还是没有绝对的答案。对于我们中的大多数人来说,获得3000ns(0.003ms)的速度提升是不值得为每个需要序列化的对象来写单独实现的。在标准的方案中,我们大多数选择Kryo 。然而,在惜时如金的低延时系统中,这个选择将会是完全不同的。

分享到:
评论

相关推荐

    Java文件传输

    它们允许序列化和反序列化Java对象,使得对象能在网络间传输。 5. **NIO(New Input/Output)**: Java NIO(非阻塞I/O)提供了一种新的方式来处理I/O操作,尤其是对于高并发的网络应用。它使用Channel和Selector...

    Python-MessagePackPython是用于Python的MessagePack序列化实现

    MessagePack就是一种高效、跨语言的数据序列化库,它专为速度和效率而设计,特别适合处理大数据量的场景。 **MessagePack简介** MessagePack是一种轻量级的二进制序列化格式,它的目标是比JSON更快、更小。在保持...

    protoc jar包

    protoc jar文件用于编译.proto文件,将定义的协议消息类型转换为Java类,而Java运行时库则是在应用程序中处理序列化和反序列化的必要依赖。 在Android开发中,protobuf被广泛应用于服务器与客户端之间的数据交换,...

    JAVA爬虫项目源代码

    3. **FastJson**:FastJson是阿里巴巴开源的一款高性能的JSON库,用于JSON的序列化和反序列化。在爬虫项目中,FastJson可以帮助将抓取到的JSON格式数据快速转换为Java对象,便于存储和后续处理。同时,它也能将Java...

    JAVA-memcached简单例子

    - 序列化:默认情况下,spymemcached使用Java序列化。但你可以自定义序列化策略,比如使用Gson或Jackson库进行JSON序列化,以提高性能和可读性。 - 批量操作:支持批量设置、获取和删除键值对,减少网络往返次数,...

    象棋java版,实现悔棋 保存等功能

    - 使用Java的`ObjectOutputStream`和`ObjectInputStream`类可以序列化和反序列化对象,将棋盘状态保存到文件中,然后在需要时读取。保存时,将棋盘、棋子、玩家等核心对象写入文件;加载时,从文件读取这些信息恢复...

    随手做一个多线程的 CS架构的 文件传输Demo

    Java的序列化、Base64编码或自定义的打包格式都可以用于此目的。 5. **异常处理**:在文件传输过程中可能出现各种错误,如网络中断、文件不存在等,因此需要适当的异常处理机制。 6. **状态同步**:多线程环境下,...

    ILCD-to-RDF:将ILCD XML序列化中的LCA数据转换为(大致等效)RDFXML序列化

    从LCD到RDF 将ILCD XML序列化中的LCA数据转换为(大致等效)RDF / XML序列化ILCD模式非常大,此代码仅转换很小的子集,足以表示进程及其输入和输出流。 这样做的主要动机是探索关联数据和LCA的机会和问题。依存关系...

    java页面缓冲

    7. **配置灵活**:OSCache的配置文件(如`etc/oscache.properties`)允许开发者自定义缓存设置,如缓存大小、过期策略、序列化方式等。 8. **文档齐全**:提供的`docs`目录包含了详细的用户指南和技术参考,方便...

    Protocol Buffer

    2. **编译器**:`protoc`是Protocol Buffer提供的编译器,它可以将.proto文件编译成不同编程语言(如C++、Java、Python等)的源代码,生成的类库提供了序列化和反序列化的接口。 3. **序列化与反序列化**:Protocol...

    java 实现百度搜索框自动补全

    Java 实现百度搜索框自动补全是一个常见的前端与...总的来说,Java实现的百度搜索框自动补全涉及到前端与后端的协同工作,包括Ajax通信、数据库操作和数据序列化。这个小demo提供了一个学习和实践这些技术的好机会。

    protobuf-all-3.6.1

    开发者可以使用protobuf编译器将.proto文件转换为目标语言(如C++、Java、Python等)的源代码,生成的类库提供了序列化和反序列化的API,使得数据可以在不同系统之间进行高效通信。 在“protobuf-all-3.6.1.zip”这...

    memcached-session-manager

    5. **配置与使用**:使用 memcached-session-manager 需要在Web应用的配置文件中指定相关参数,如 Memcached 服务器的地址、端口,以及是否启用 Kryo 序列化等。开发者还需要在代码中适当地创建和管理会话。 6. **...

    netty对象传输gzipdemo

    然而,Netty允许开发者直接传输Java对象,这是通过序列化和反序列化机制实现的。Netty提供了`ObjectEncoder`和`ObjectDecoder`这两个编解码器,它们负责将Java对象转换为字节流,以便在网络上传输,到达目的地后再...

    sw__matlab_java_translator:使用Java在Matlab中加快协议缓冲区使用的一些例程

    通过这样的方式,我们可以编写Java代码来实现协议缓冲区的高效序列化和反序列化,然后在Matlab中调用这些Java方法,从而提升处理速度。 具体步骤可能包括以下几点: 1. **设计Java接口**:首先,我们需要设计一个...

    Java RMI分布式系统应用研究.pdf

    分布式计算是现代信息技术中的一个重要研究领域,它涉及将计算任务拆分成多个子任务,并在不同计算机上进行并行处理以加快整体计算速度。由于单台计算机的计算能力有限,分布式计算模型在处理大型复杂问题时表现出其...

    google protobuf-2.4.1

    - **存储优化**:在数据库或文件系统中,protobuf序列化的数据可以减少存储空间,加快读写速度。 5. **优势与局限**: - **优点**:效率高,占用空间小,支持多种语言,易于扩展和维护。 - **局限**:学习曲线较...

    俄罗斯方块(基于java)

    用户可能希望继续他们之前的游戏,这就需要用到文件操作和序列化技术,将游戏状态保存到硬盘上,然后在下次启动时恢复。 总的来说,这个基于Java的俄罗斯方块项目展示了Java GUI编程、对象设计、事件处理、算法实现...

Global site tag (gtag.js) - Google Analytics