吹牛：我写的JSONParser可能是这个星球上最快了（Java）

我拥有多年手写Parser的经验，在以前，编写过多个Parser，有SQL的Parser，也有JavaScript的Parser，也有Java的Parser。

在最近的项目中，也需要使用JSON，其中client部分不希望存在依赖，所以就写了一个JSON     Parser。最初是直接使用SimpleJSON的，因为其代码少，接口简洁。一个同事说，SimpleJSON存在性能问题，噢，我想，那算了，我自己写一个吧，JSON语法这么简单，对于有“多年行医经验”（来自典故《日本兵与老中医》）的我，自然不是困难的事情，也就是一个晚上就写完了，应用于项目中，测试结果，网络协议的性能提升了两倍，从原来的80,000 TPS提升到了240,000 TPS。顺带说一个花絮，周六晚上加班写完的，直接就应用到项目中了，虽然有TestCase，但还是有一个地方没注意好，出现了一个Bug，星期一还影响了测试工作，早会的时候被同事血泪控诉。

我跟朋友炫耀了一下，朋友说，为啥不用jackson，jackson速度很快。好吧，我就和jackson做了一个性能比较，在大多数场景都是比jackson性能好很多，但是在某一个场景，竟然比jackson稍慢。我不服气啊，因为一看就觉得jackson的Parser写得不够专业，没理由比我这种多年经验的老鸟快的。跟踪其实现代码找到了其优化的办法，觉得那是取巧，不屑于使用。于是优化一下我写的Parser，优化的结果自然是全面超越它。好吧，废话少说，直接上结果。

场景1:

[{"S":321061,"T":"GetAttributeResp"},{"ERROR":null,"TS":0,"VAL":{"SqlList":[{"BatchSizeMax":0,"BatchSizeTotal":0,"ConcurrentMax":1,"DataSource":"jdbc:wrap-jdbc:filters=default,encoding:name=ds-offer:jdbc:mysql://100.10.10.10:8066/xxxx","EffectedRowCount":0,"ErrorCount":0,"ExecuteCount":5,"FetchRowCount":5,"File":null,"ID":2001,"LastError":null,"LastTime":1292742908178,"MaxTimespan":16,"MaxTimespanOccurTime":1292742668191,"Name":null,"RunningCount":0,"SQL":"SELECT @@SQL_MODE","TotalTime":83}]}}] 

fast-json : 8,608,334 (我写的parser)
jackson : 17,172,500
simple-json : 36,258,008


场景2：

{"S":321061,"T":"GetAttributeResp"}

fast-json : 1,028,024
jackson : 6,673,850
simple-json : 20,294,257

场景3：

引用

{"name":null,"flag":true}

fast-json : 842,032
jackson : 7,284,100
simple-json : 20,553,188

场景4：

[-5.041598256063065E-20,-7210028408342716000]

fast-json : 1,338,822
jackson : 10,000,239
simple-json : 20,202,679

场景5：

-6470204979932713723

fast-json : 389,004
jackson : 5,405,129
simple-json : 20,418,252

以上的结果都是执行一千次的时间总和，单位是nano。连续执行测试50次，取最后一次的结果，让JVM能够充分优化。JVM的参数是-server。

结论，越简单的对象，偶写的parser（fast-json）性能越好。如场景3，都快差不多100倍了。

好了，吹牛结束啦，有什么后续动作呢？有同事建议开源，嗯，这个建议挺好的，我喜欢用开源的东西，也希望对开源有所贡献，我整理好代码之后，就会开源出来。

注明，我写的Parser是能通过JSON官方的兼容性测试的，不是缺乏功能的残废！

----------------------------------------------

svn已经能够外网访问:
http://119.38.217.15/svn/fastjson/trunk/
（注意，IP地址在2011-1-10修改过）

域名申请的事情还在进行中，还有很多事情要做。最终这是一个类似taobao code（淘蝌蚪）的开源平台，我们的名字叫做Open Sesame。

评论

335 楼 acdc 2011-01-19  

wenshao 写道

luffyke 写道

Copyright 1999-2101 Alibaba Group.

你的2101还没改回来啊，哈哈。。。

这是故意的，Alibaba公司要活102年，所以是这么写，没错的！

Copyright后面跟的年份是作者编写这代码的年份。

334 楼 kyfxbl 2011-01-19  

lqixv 写道

sdh5724 写道

vb2005xu 写道

看你的代码 真是对我JAVA底子的 一次全新的学习 呜呜呜

这三流代码也值得你们 55555 啊， 我看写的不怎么的， 全是赶工惹的。 不过温少有一个东西的代码是教科书式的。 不过离开源还很早，才0.1版本。

sdh5724，能不能抽点时间，把wenshao的代码做一次分析，让我们这些菜鸟学习一下？也让我们有机会提高一下自己的水平，让我们明白一流代码是什么样的，明白为什么wenshao的代码只能是三流。对比wenshao的代码，我们都决定他的代码很不错了。

如果你时间不多，哪怕每次只拿一小个代码片段给我们分析一下也好。这种实实在在的“重构”学习，比什么理论都强。

你说的有道理。

问题是，人家为什么要这么做呢？

333 楼 xanpeng 2011-01-19  

能不能介绍下 serialize 和 deserialize 的大致的主要思路? 多谢:D

wenshao 写道

xanpeng 写道

请问作者, fast-json 是和 gson 类似的事物吗?

是的，都是java语言编写的json工具包。gson是托管在google code上，和google一点关系都没有。gson的执行效率低下，龟速，大概就是gui-json的缩写吧 

332 楼 aoliwen521 2011-01-19  

我决定以楼主为偶像，崇拜一年。

331 楼 wenshao 2011-01-18  

xanpeng 写道

请问作者, fast-json 是和 gson 类似的事物吗?

是的，都是java语言编写的json工具包。gson是托管在google code上，和google一点关系都没有。gson的执行效率低下，龟速，大概就是gui-json的缩写吧 

330 楼 xanpeng 2011-01-17  

请问作者, fast-json 是和 gson 类似的事物吗?

329 楼 luffyke 2011-01-14  

支持lqixv。。。

328 楼 lqixv 2011-01-13  

sdh5724 写道

vb2005xu 写道

看你的代码 真是对我JAVA底子的 一次全新的学习 呜呜呜

这三流代码也值得你们 55555 啊， 我看写的不怎么的， 全是赶工惹的。 不过温少有一个东西的代码是教科书式的。 不过离开源还很早，才0.1版本。

sdh5724，能不能抽点时间，把wenshao的代码做一次分析，让我们这些菜鸟学习一下？也让我们有机会提高一下自己的水平，让我们明白一流代码是什么样的，明白为什么wenshao的代码只能是三流。对比wenshao的代码，我们都决定他的代码很不错了。

如果你时间不多，哪怕每次只拿一小个代码片段给我们分析一下也好。这种实实在在的“重构”学习，比什么理论都强。

327 楼 wenshao 2011-01-12  

luffyke 写道

sdh5724 写道

vb2005xu 写道

看你的代码 真是对我JAVA底子的 一次全新的学习 呜呜呜

这三流代码也值得你们 55555 啊， 我看写的不怎么的， 全是赶工惹的。 不过温少有一个东西的代码是教科书式的。 不过离开源还很早，才0.1版本。

可否指引一下。。。那段代码在哪里？

sdh5724的评价太高了，那个东东目前还不会开源，短期内你要看代码，估计要得来阿里才行 

326 楼 luffyke 2011-01-12  

sdh5724 写道

vb2005xu 写道

看你的代码 真是对我JAVA底子的 一次全新的学习 呜呜呜

这三流代码也值得你们 55555 啊， 我看写的不怎么的， 全是赶工惹的。 不过温少有一个东西的代码是教科书式的。 不过离开源还很早，才0.1版本。

可否指引一下。。。那段代码在哪里？

325 楼 sdh5724 2011-01-12  

vb2005xu 写道

看你的代码 真是对我JAVA底子的 一次全新的学习 呜呜呜

这三流代码也值得你们 55555 啊， 我看写的不怎么的， 全是赶工惹的。 不过温少有一个东西的代码是教科书式的。 不过离开源还很早，才0.1版本。

324 楼 wenshao 2011-01-12  

由于循环引用检测的成本较高，所以决定采用流氓做法：

try {
	// ...
} catch (StackOverflowError e) {
	throw new JSONException("maybe circular references", e);
}

同时建议使用@Annotation来避免循环引用。

例如：

import com.alibaba.fastjson.annotation.JSONField;

public class Category {
	private Category parent;
	private List<Category> children = new ArrayList<Category>();

	@JSONField(serialize=false) // 标识不需要序列化
	public Category getParent() {
		return parent;
	}

	public void setParent(Category parent) {
		this.parent = parent;
	}

	public List<Category> getChildren() {
		return children;
	}

	public void setChildren(List<Category> children) {
		this.children = children;
	}
}

323 楼 luffyke 2011-01-12  

wenshao 写道

luffyke 写道

Copyright 1999-2101 Alibaba Group.

你的2101还没改回来啊，哈哈。。。

这是故意的，Alibaba公司要活102年，所以是这么写，没错的！

呵呵，

322 楼 javamonkey 2011-01-12  

wenshao 写道

半夜睡不着 ...

想了一些处理循环引用的办法，其中一个超级简单。

第一种，流氓粗暴的办法：

try {
	// ...
} catch (StackOverflowError e) {
	throw new JSONException("maybe circular references", e);
}

很流氓，但是很简单很有效，不会影响效率。

第二种，编写存放引用的类，如果发现引用重复，则做处理。这个类如下：

public final class JSONSerializerContext {
	public static final int DEFAULT_TABLE_SIZE = 64;

	private final Entry[] buckets;
	private final int indexMask;

	public JSONSerializerContext() {
		this(DEFAULT_TABLE_SIZE);
	}

	public JSONSerializerContext(int tableSize) {
		this.indexMask = tableSize - 1;
		this.buckets = new Entry[tableSize];
	}

	// 添加引用，如果存在则返回true，否则返回false
	public final boolean put(Object obj) { 
		final int hash = System.identityHashCode(obj);
		final int bucket = hash & indexMask;

		for (Entry entry = buckets[bucket]; entry != null; entry = entry.next) {
			if (obj == entry.object) {
				return true;
			}
		}

		Entry entry = new Entry(obj, hash, buckets[bucket]);
		buckets[bucket] = entry;

		return false;
	}

	protected static final class Entry {
		public final int hashCode;
		public final Object object;

		public Entry next;

		public Entry(Object object, int hash, Entry next) {
			this.object = object;
			this.next = next;
			this.hashCode = hash;
		}
	}
}

只需要JavaBean的序列化是调用put方法检测就可以了，应该对性能影响不大，具体数据等有空测试才能具体确定影响多大，但初步估计性能影响较小。

对于出现循环引用的情况，处理办法两种：抛异常或者忽略。如果是抛异常，还不如上面第一种方式有效，如果忽略，还不如这样写：

import com.alibaba.fastjson.annotation.JSONField;

public class Category {
	private Category parent;
	private List<Category> children = new ArrayList<Category>();

	@JSONField(serialize=false) // 标识不需要序列化
	public Category getParent() {
		return parent;
	}

	public void setParent(Category parent) {
		this.parent = parent;
	}

	public List<Category> getChildren() {
		return children;
	}

	public void setChildren(List<Category> children) {
		this.children = children;
	}
}

我在网上搜索了一下，JSON.NET也是采用Annotation标识忽略的办法来解决循环引用的。

大家给些参考意见。

最好能支持一个“最多循环引用次数”，有可能简化某些编程

321 楼 wenshao 2011-01-12  

luffyke 写道

Copyright 1999-2101 Alibaba Group.

你的2101还没改回来啊，哈哈。。。

这是故意的，Alibaba公司要活102年，所以是这么写，没错的！

320 楼 luffyke 2011-01-12  

Copyright 1999-2101 Alibaba Group.

你的2101还没改回来啊，哈哈。。。

319 楼 wenshao 2011-01-12  

为了fastjson的可持续发展，将会逐步建立一套性能基准测试

引用

src\test\java\com\alibaba\json\test\benchmark\

318 楼 wenshao 2011-01-12  

rockyeah 写道

fastjson\src\test\java\com\alibaba\json\test\benchkmark\

benchkmark是不是该写成benchmark?

你说的对，拼写错误了 

笔记本和台式机两台电脑混着用，打字没感觉，打错字好几次了 

317 楼 rockyeah 2011-01-12  

fastjson\src\test\java\com\alibaba\json\test\benchkmark\

benchkmark是不是该写成benchmark?

316 楼 dengtl 2011-01-12  

又见温少！
现在很流行的方式是直接把JSON或XML对象转换成一个POJO。然而转换出来的POJO，是否所有属性都需要用到？有必要为每个属性特别是强类型属性（如Date），嵌套子对象都在未使用之前做转换？
基于弱类型的迟转换我认为是解决之道。弱类型只所有类型都是String，迟转换是只由调用者去触发转换。