转自:http://www.oschina.net/question/100267_72178
自从第一个Java版本开始,很多开发人员一直都在尝试让Java获得最少和C/C++一样的表现。JVM提供商尽他们最大的努力去实现一些新的JIT算法,但是还是有很多需要做的,特别是在我们使用Java的方法上。
例如,在对象<->文件序列化上就差距很大--尤其在读写内存对象上。我将就这个主题做一些解释和分享。
所有的测试都是在下面这个对象上执行的:
1 |
public class TestObject implements Serializable {
|
3 |
private long longVariable;
|
4 |
private long [] longArray;
|
5 |
private String stringObject;
|
6 |
private String secondStringObject;
|
为了简单起见,我将只贴出写入方法(尽管读取类似),完整的源码在我的GitHub上可以找到(http://github.com/jkubrynski/serialization-tests)
最标准的java序列化(我们都是从这里学起的)是这样的:
01 |
public void testWriteBuffered(TestObject test, String fileName) throws IOException {
|
02 |
ObjectOutputStream objectOutputStream = null ;
|
04 |
FileOutputStream fos = new FileOutputStream(fileName);
|
05 |
BufferedOutputStream bos = new BufferedOutputStream(fos);
|
06 |
objectOutputStream = new ObjectOutputStream(bos);
|
07 |
objectOutputStream.writeObject(test);
|
09 |
if (objectOutputStream != null ) {
|
10 |
objectOutputStream.close();
|
提升标准序列化速度的最简单方法时使用RandomAccessFile对象:
01 |
public void testWriteBuffered(TestObject test, String fileName) throws IOException {
|
02 |
ObjectOutputStream objectOutputStream = null ;
|
04 |
RandomAccessFile raf = new RandomAccessFile(fileName, "rw" );
|
05 |
FileOutputStream fos = new FileOutputStream(raf.getFD());
|
06 |
objectOutputStream = new ObjectOutputStream(fos);
|
07 |
objectOutputStream.writeObject(test);
|
09 |
if (objectOutputStream != null ) {
|
10 |
objectOutputStream.close();
|
更高深点的技术是使用Kryo框架,新旧版本的差距是很大的,我做过测试。因为性能比较上并没有体现出特别引人注意的差异,所以我将使用2.x版本,因为它对用户更友好而且更快些。
01 |
private static Kryo kryo = new Kryo();
|
03 |
public void testWriteBuffered(TestObject test, String fileName) throws IOException {
|
06 |
RandomAccessFile raf = new RandomAccessFile(fileName, "rw" );
|
07 |
output = new Output( new FileOutputStream(raf.getFD()), MAX_BUFFER_SIZE);
|
08 |
kryo.writeObject(output, test);
|
最后一个方案是在Martin Thompson的文章中提到的(Native C/C++ Like Performance For Java Object Serialisation),介绍了怎样在Java中像C++那样和内存打交道。
01 |
public void testWriteBuffered(TestObject test, String fileName) throws IOException {
|
02 |
RandomAccessFile raf = null ;
|
04 |
MemoryBuffer memoryBuffer = new MemoryBuffer(MAX_BUFFER_SIZE);
|
05 |
raf = new RandomAccessFile(fileName, "rw" );
|
06 |
test.write(memoryBuffer);
|
07 |
raf.write(memoryBuffer.getBuffer());
|
08 |
} catch (IOException e) {
|
TestObject写入方法如下:
01 |
public void write(MemoryBuffer unsafeBuffer) {
|
02 |
unsafeBuffer.putLong(longVariable);
|
03 |
unsafeBuffer.putLongArray(longArray);
|
05 |
boolean objectExists = stringObject != null ;
|
06 |
unsafeBuffer.putBoolean(objectExists);
|
08 |
unsafeBuffer.putCharArray(stringObject.toCharArray());
|
10 |
objectExists = secondStringObject != null ;
|
11 |
unsafeBuffer.putBoolean(objectExists);
|
13 |
unsafeBuffer.putCharArray(secondStringObject.toCharArray());
|
直接内存缓冲区类(已简化了的,仅仅为了展示这个思想)
01 |
public class MemoryBuffer {
|
03 |
public static final Unsafe unsafe = UnsafeUtil.getUnsafe();
|
05 |
private final byte [] buffer;
|
07 |
private static final long byteArrayOffset = unsafe.arrayBaseOffset( byte []. class );
|
08 |
private static final long longArrayOffset = unsafe.arrayBaseOffset( long []. class );
|
几个小时的Caliper测试结果如下:
|
Full trip [ns] |
Standard deviation [ns] |
Standard |
207307 |
2362 |
Standard on RAF |
42661 |
733 |
KRYO 1.x |
12027 |
112 |
KRYO 2.x |
11479 |
259 |
Unsafe |
8554 |
91 |
在最后我们可以得出一些结论:
- Unsafe序列化比标准的java.io.Serizlizable快了23倍
- 使用RandomAccessFile可以使标准的有缓冲序列化加速将近4倍
- Kryo-dynamic序列化大约比手写实现的直接缓冲满了35%
最后,就像我们看到的那样,还是没有绝对的答案。对于我们中的大多数人来说,获得3000ns(0.003ms)的速度提升是不值得为每个需要序列化的对象来写单独实现的。在标准的方案中,我们大多数选择Kryo 。然而,在惜时如金的低延时系统中,这个选择将会是完全不同的。
分享到:
相关推荐
它们允许序列化和反序列化Java对象,使得对象能在网络间传输。 5. **NIO(New Input/Output)**: Java NIO(非阻塞I/O)提供了一种新的方式来处理I/O操作,尤其是对于高并发的网络应用。它使用Channel和Selector...
MessagePack就是一种高效、跨语言的数据序列化库,它专为速度和效率而设计,特别适合处理大数据量的场景。 **MessagePack简介** MessagePack是一种轻量级的二进制序列化格式,它的目标是比JSON更快、更小。在保持...
protoc jar文件用于编译.proto文件,将定义的协议消息类型转换为Java类,而Java运行时库则是在应用程序中处理序列化和反序列化的必要依赖。 在Android开发中,protobuf被广泛应用于服务器与客户端之间的数据交换,...
3. **FastJson**:FastJson是阿里巴巴开源的一款高性能的JSON库,用于JSON的序列化和反序列化。在爬虫项目中,FastJson可以帮助将抓取到的JSON格式数据快速转换为Java对象,便于存储和后续处理。同时,它也能将Java...
- 序列化:默认情况下,spymemcached使用Java序列化。但你可以自定义序列化策略,比如使用Gson或Jackson库进行JSON序列化,以提高性能和可读性。 - 批量操作:支持批量设置、获取和删除键值对,减少网络往返次数,...
- 使用Java的`ObjectOutputStream`和`ObjectInputStream`类可以序列化和反序列化对象,将棋盘状态保存到文件中,然后在需要时读取。保存时,将棋盘、棋子、玩家等核心对象写入文件;加载时,从文件读取这些信息恢复...
Java的序列化、Base64编码或自定义的打包格式都可以用于此目的。 5. **异常处理**:在文件传输过程中可能出现各种错误,如网络中断、文件不存在等,因此需要适当的异常处理机制。 6. **状态同步**:多线程环境下,...
从LCD到RDF 将ILCD XML序列化中的LCA数据转换为(大致等效)RDF / XML序列化ILCD模式非常大,此代码仅转换很小的子集,足以表示进程及其输入和输出流。 这样做的主要动机是探索关联数据和LCA的机会和问题。依存关系...
7. **配置灵活**:OSCache的配置文件(如`etc/oscache.properties`)允许开发者自定义缓存设置,如缓存大小、过期策略、序列化方式等。 8. **文档齐全**:提供的`docs`目录包含了详细的用户指南和技术参考,方便...
2. **编译器**:`protoc`是Protocol Buffer提供的编译器,它可以将.proto文件编译成不同编程语言(如C++、Java、Python等)的源代码,生成的类库提供了序列化和反序列化的接口。 3. **序列化与反序列化**:Protocol...
Java 实现百度搜索框自动补全是一个常见的前端与...总的来说,Java实现的百度搜索框自动补全涉及到前端与后端的协同工作,包括Ajax通信、数据库操作和数据序列化。这个小demo提供了一个学习和实践这些技术的好机会。
开发者可以使用protobuf编译器将.proto文件转换为目标语言(如C++、Java、Python等)的源代码,生成的类库提供了序列化和反序列化的API,使得数据可以在不同系统之间进行高效通信。 在“protobuf-all-3.6.1.zip”这...
5. **配置与使用**:使用 memcached-session-manager 需要在Web应用的配置文件中指定相关参数,如 Memcached 服务器的地址、端口,以及是否启用 Kryo 序列化等。开发者还需要在代码中适当地创建和管理会话。 6. **...
然而,Netty允许开发者直接传输Java对象,这是通过序列化和反序列化机制实现的。Netty提供了`ObjectEncoder`和`ObjectDecoder`这两个编解码器,它们负责将Java对象转换为字节流,以便在网络上传输,到达目的地后再...
通过这样的方式,我们可以编写Java代码来实现协议缓冲区的高效序列化和反序列化,然后在Matlab中调用这些Java方法,从而提升处理速度。 具体步骤可能包括以下几点: 1. **设计Java接口**:首先,我们需要设计一个...
分布式计算是现代信息技术中的一个重要研究领域,它涉及将计算任务拆分成多个子任务,并在不同计算机上进行并行处理以加快整体计算速度。由于单台计算机的计算能力有限,分布式计算模型在处理大型复杂问题时表现出其...
- **存储优化**:在数据库或文件系统中,protobuf序列化的数据可以减少存储空间,加快读写速度。 5. **优势与局限**: - **优点**:效率高,占用空间小,支持多种语言,易于扩展和维护。 - **局限**:学习曲线较...
用户可能希望继续他们之前的游戏,这就需要用到文件操作和序列化技术,将游戏状态保存到硬盘上,然后在下次启动时恢复。 总的来说,这个基于Java的俄罗斯方块项目展示了Java GUI编程、对象设计、事件处理、算法实现...