`
247687009
  • 浏览: 174261 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

高性能序列化框架FST

    博客分类:
  • JAVA
FST 
阅读更多
fst是完全兼容JDK序列化协议的系列化框架,序列化速度大概是JDK的4-10倍,大小是JDK大小的1/3左右。
首先引入pom

<dependency>
  <groupId>de.ruedigermoeller</groupId>
  <artifactId>fst</artifactId>
  <version>2.04</version>
</dependency>
 测试代码
package zookeeper.seria;

import java.io.Serializable;

public class FSTSeriazle {

	public static void main(String[] args) {
		User bean = new User();
		bean.setUsername("xxxxx");
		bean.setPassword("123456");
		bean.setAge(1000000);
		System.out.println("序列化 , 反序列化 对比测试:");
		long size = 0;
		long time1 = System.currentTimeMillis();
		for (int i = 0; i < 10000; i++) {
			byte[] jdkserialize = JRedisSerializationUtils.jdkserialize(bean);
			size += jdkserialize.length;
			JRedisSerializationUtils.jdkdeserialize(jdkserialize);
		}
		System.out.println("原生序列化方案[序列化10000次]耗时:"
				+ (System.currentTimeMillis() - time1) + "ms size:=" + size);

		size = 0;
		long time2 = System.currentTimeMillis();
		for (int i = 0; i < 10000; i++) {
			byte[] serialize = JRedisSerializationUtils.serialize(bean);
			size += serialize.length;
			User u = (User) JRedisSerializationUtils.unserialize(serialize);
		}
		System.out.println("fst序列化方案[序列化10000次]耗时:"
				+ (System.currentTimeMillis() - time2) + "ms size:=" + size);
		size = 0;
		long time3 = System.currentTimeMillis();
		for (int i = 0; i < 10000; i++) {
			byte[] serialize = JRedisSerializationUtils.kryoSerizlize(bean);
			size += serialize.length;
			User u = (User) JRedisSerializationUtils.kryoUnSerizlize(serialize);
		}
		System.out.println("kryo序列化方案[序列化10000次]耗时:"
				+ (System.currentTimeMillis() - time3) + "ms size:=" + size);

	}

}

class User implements Serializable{

	private String username;
	private int age;
	private String password;

	public String getUsername() {
		return username;
	}

	public void setUsername(String username) {
		this.username = username;
	}

	public int getAge() {
		return age;
	}

	public void setAge(int age) {
		this.age = age;
	}

	public String getPassword() {
		return password;
	}

	public void setPassword(String password) {
		this.password = password;
	}

}
 结果
序列化 , 反序列化 对比测试:
原生序列化方案[序列化10000次]耗时:458ms size:=1160000
fst序列化方案[序列化10000次]耗时:184ms size:=550000
kryo序列化方案[序列化10000次]耗时:462ms size:=390000
 工具类
package zookeeper.seria;

import java.io.ByteArrayInputStream;
import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.ObjectInputStream;
import java.io.ObjectOutputStream;

import org.nustaq.serialization.FSTConfiguration;

import com.esotericsoftware.kryo.Kryo;
import com.esotericsoftware.kryo.io.Input;
import com.esotericsoftware.kryo.io.Output;

public class JRedisSerializationUtils {

	public JRedisSerializationUtils() {
	}

	static FSTConfiguration configuration = FSTConfiguration
	// .createDefaultConfiguration();
			.createStructConfiguration();

	public static byte[] serialize(Object obj) {
		return configuration.asByteArray(obj);
	}

	public static Object unserialize(byte[] sec) {
		return configuration.asObject(sec);
	}

	public static byte[] kryoSerizlize(Object obj) {
		Kryo kryo = new Kryo();
		byte[] buffer = new byte[2048];
		try(
				Output output = new Output(buffer);
				) {
			
			kryo.writeClassAndObject(output, obj);
			return output.toBytes();
		} catch (Exception e) {
		}
		return buffer;
	}

	static Kryo kryo = new Kryo();
	public static Object kryoUnSerizlize(byte[] src) {
		try(
		Input input = new Input(src);
				){
			return kryo.readClassAndObject(input);
		}catch (Exception e) {
		}
		return kryo;
	}

	// jdk原生序列换方案
	public static byte[] jdkserialize(Object obj) {
		try (ByteArrayOutputStream baos = new ByteArrayOutputStream();
				ObjectOutputStream oos = new ObjectOutputStream(baos);) {
			oos.writeObject(obj);
			return baos.toByteArray();
		} catch (IOException e) {
			throw new RuntimeException(e);
		}
	}

	public static Object jdkdeserialize(byte[] bits) {
		try (ByteArrayInputStream bais = new ByteArrayInputStream(bits);
				ObjectInputStream ois = new ObjectInputStream(bais);

		) {
			return ois.readObject();
		} catch (Exception e) {
			throw new RuntimeException(e);
		}
	}
}
 
分享到:
评论
1 楼 yuqiyi 2016-11-16  
这篇文章为了凸显fst得效率也是醉了.
其一:kryo不做任何优化的话,对于未知类的序列化是用java原生方式来做的.
其次:你单线程在跑,但是kryo还是每次都new的方式来做.实际使用中肯定不会这么做.肯定会使用缓存池.
基于我所说的方式在你的基础上做了修改进行测试,kryo在速度上比fst要快很多,大小上也比fst要小很多.
至于你想说,为了应对多线程,每一个线程都得创建一个kryo.我也做了测试,在相同多线程环境下,kryo依然要优于fst.但是差距要小一些.

相关推荐

    java 常用序列化和反序列化框架使用demo

    FST是一个高性能的序列化库,它通过优化的二进制格式和代码生成技术提高了速度。FST提供了与Java序列化API兼容的接口,使得替换原有序列化方式变得容易。 ```java import net.sf.fst.FSTObjectInput; import ...

    Netty服务端与客户端依靠Java序列化传输数据

    Netty 是一个高性能、异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。在Java世界中,序列化是将对象转换为字节流以便在网络间或存储系统中传输的一种常见技术。Java序列化是Java...

    (源码)基于Dubbo框架的服务治理系统.zip

    # 基于Dubbo框架的服务治理系统 ## 项目简介 基于Dubbo框架的服务治理系统是一个用于管理和监控分布式服务的高性能、轻量级解决方案。... 基于Kryo和FST高性能序列化库,为Dubbo默认的RPC协议添加新的序列化实现。

    手写RPC框架1

    Thrift是由Facebook开发的一种高性能的序列化框架,它需要编译器生成代码,类似于Google的Protocol Buffers(Protobuf)。虽然Thrift和Protobuf需要预先定义数据结构,但它们能生成高效、紧凑的字节码,适合对性能有...

    jvm-serializers:比较JVM上的序列化库的基准

    - **Kryo**:来自Twitter的高性能序列化库,它不是Java标准API,但提供了更快的速度和更小的序列化结果。 - **FST (Fast Serialization)**:另一个高效库,它的目标是超越Kryo,提供更快的速度和更小的序列化输出...

    redis demo

    在IT行业中,Redis是一款广泛应用的高性能键值存储系统,它被广泛用于缓存、消息队列、数据库等多个场景。在Spring Data Redis框架中,为了在Java应用与Redis之间传输数据,我们需要将Java对象序列化为字节流,然后...

    0729分布式通信框架-RMI1

    总的来说,分布式通信框架是构建大规模、高性能系统的关键技术,RMI作为Java的RPC实现,简化了跨网络的Java对象调用,而理解TCP/IP、序列化和安全协议对于开发高效、安全的分布式系统至关重要。

    JavaNettyProj服务器与客户端.rar

    Netty是一个高性能、异步事件驱动的网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。在本项目中,重点是实现自定义类消息的发送和接收,这是Netty框架的一大优势,因为它允许开发者以对象的形式...

    dubbox-dubbox-2.8.4 源码

    同时,Dubbox支持多种序列化方式,如Java自带的序列化、FST、Kryo等,这些都在`Serialization`接口及其实现类中体现。 四、负载均衡 Dubbox内置了多种负载均衡策略,如Random、RoundRobin、LeastActive等,用于在多...

    Ehcache Java 缓存框架 v3.9.2-源码.zip

    4. **Key和Value的序列化**:Ehcache支持多种序列化策略,包括Java内置的序列化、Kryo和FST,这使得数据能够在网络间传输和持久化。 5. **事件和监听器**:允许开发者定义缓存事件,如添加、更新、删除,然后为这些...

    dubbox介绍

    - **Kryo和FST**:Dubbox集成了Kryo和FST这两个高性能序列化库,为Dubbo默认的RPC协议提供了新的序列化选项,显著提升了RPC的性能。 - **Jackson JSON序列化**:Dubbox还支持基于Jackson的JSON序列化,为RPC协议增加...

    【面试资料】-(机构内训资料)Dubbo面试专题.zip

    Dubbo是阿里巴巴开源的一个高性能、轻量级的服务治理框架,主要用于实现分布式服务的开发、调用、治理和监控。 【描述】:“【面试资料】-(机构内训资料)Dubbo面试专题”进一步确认了这份资料专注于Dubbo的相关...

    simple-spring-memcached-3.1.0-dist

    3. **自动序列化与反序列化**:SSM支持多种序列化策略,如Java自带的序列化、Kryo、FST等,可以将Java对象转化为适合在网络间传输的字节流,再在需要时反序列化为对象。 4. **多服务器支持**:SSM可以配置多个...

    2023年1月最新dubbo面试题

    Dubbo 是一个高性能、轻量级的开源 Java RPC 框架,广泛应用于微服务架构中。本篇文章将深入解析2023年1月的最新 Dubbo 面试题,帮助你掌握 Dubbo 的核心概念和技术要点。 首先,我们需要理解 Dubbo 的工作原理。...

    应用与服务开发规范标准文档

    - 采用高效的Java序列化框架(如Kryo、FST等),显著提升序列化性能。 2. **消除冗余数据**: - 避免在接口中包含不必要的字段,以减少序列化和传输的开销。 3. **粗粒度契约**: - 服务的契约通常是粗粒度的,...

    my-rpc-framework

    4. **序列化实现**:my-rpc-framework可能采用了Java内置的序列化或者第三方序列化库如Hessian、FST或Protocol Buffers,以提高效率和兼容性。 5. **网络通信层**:可能使用Netty、MINA等高性能的NIO框架进行网络...

    高级JAVA 面试大全 包含各个难点及大厂面试重点

    Dubbo是阿里巴巴开源的服务治理框架,Dubbox则是Dubbo的一个扩展版本,增加了对REST风格的远程调用、高效的序列化实现(如Kryo和FST)、JSON序列化(基于Jackson)、HTTP remoting体系(基于嵌入式Tomcat)等功能,...

    腾讯java面试题合集

    - Dubbo是一个高性能的Java RPC框架,而Dubbox是Dubbo的升级版,主要增加了对REST、Kryo/FST序列化、Jackson支持等特性,提升了框架的灵活性和可扩展性。 3. **ArrayList与LinkedList的区别**: - ArrayList基于...

    dubbo_rpc.zip

    - **协议与序列化**:Dubbo支持多种通信协议(如Dubbo、RMI、Hessian等)和序列化方式(如Java、FST、Protobuf),选择合适的组合可以优化网络传输效率。 - **服务接口与实现**:服务通过接口定义,实现则封装业务...

Global site tag (gtag.js) - Google Analytics