`
wenshao
  • 浏览: 271689 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

吹牛:我写的JSONParser可能是这个星球上最快了(Java)

阅读更多
我拥有多年手写Parser的经验,在以前,编写过多个Parser,有SQL的Parser,也有JavaScript的Parser,也有Java的Parser。

在最近的项目中,也需要使用JSON,其中client部分不希望存在依赖,所以就写了一个JSON     Parser。最初是直接使用SimpleJSON的,因为其代码少,接口简洁。一个同事说,SimpleJSON存在性能问题,噢,我想,那算了,我自己写一个吧,JSON语法这么简单,对于有“多年行医经验”(来自典故《日本兵与老中医》)的我,自然不是困难的事情,也就是一个晚上就写完了,应用于项目中,测试结果,网络协议的性能提升了两倍,从原来的80,000 TPS提升到了240,000 TPS。顺带说一个花絮,周六晚上加班写完的,直接就应用到项目中了,虽然有TestCase,但还是有一个地方没注意好,出现了一个Bug,星期一还影响了测试工作,早会的时候被同事血泪控诉。

我跟朋友炫耀了一下,朋友说,为啥不用jackson,jackson速度很快。好吧,我就和jackson做了一个性能比较,在大多数场景都是比jackson性能好很多,但是在某一个场景,竟然比jackson稍慢。我不服气啊,因为一看就觉得jackson的Parser写得不够专业,没理由比我这种多年经验的老鸟快的。跟踪其实现代码找到了其优化的办法,觉得那是取巧,不屑于使用。于是优化一下我写的Parser,优化的结果自然是全面超越它。好吧,废话少说,直接上结果。

场景1:
[{"S":321061,"T":"GetAttributeResp"},{"ERROR":null,"TS":0,"VAL":{"SqlList":[{"BatchSizeMax":0,"BatchSizeTotal":0,"ConcurrentMax":1,"DataSource":"jdbc:wrap-jdbc:filters=default,encoding:name=ds-offer:jdbc:mysql://100.10.10.10:8066/xxxx","EffectedRowCount":0,"ErrorCount":0,"ExecuteCount":5,"FetchRowCount":5,"File":null,"ID":2001,"LastError":null,"LastTime":1292742908178,"MaxTimespan":16,"MaxTimespanOccurTime":1292742668191,"Name":null,"RunningCount":0,"SQL":"SELECT @@SQL_MODE","TotalTime":83}]}}] 

fast-json : 8,608,334 (我写的parser)
jackson : 17,172,500
simple-json : 36,258,008


场景2:
{"S":321061,"T":"GetAttributeResp"}

fast-json : 1,028,024
jackson : 6,673,850
simple-json : 20,294,257

场景3:
引用
{"name":null,"flag":true}

fast-json : 842,032
jackson : 7,284,100
simple-json : 20,553,188

场景4:
[-5.041598256063065E-20,-7210028408342716000]

fast-json : 1,338,822
jackson : 10,000,239
simple-json : 20,202,679

场景5:
-6470204979932713723

fast-json : 389,004
jackson : 5,405,129
simple-json : 20,418,252

以上的结果都是执行一千次的时间总和,单位是nano。连续执行测试50次,取最后一次的结果,让JVM能够充分优化。JVM的参数是-server。

结论,越简单的对象,偶写的parser(fast-json)性能越好。如场景3,都快差不多100倍了。

好了,吹牛结束啦,有什么后续动作呢?有同事建议开源,嗯,这个建议挺好的,我喜欢用开源的东西,也希望对开源有所贡献,我整理好代码之后,就会开源出来。

注明,我写的Parser是能通过JSON官方的兼容性测试的,不是缺乏功能的残废!

----------------------------------------------

svn已经能够外网访问:
http://119.38.217.15/svn/fastjson/trunk/
(注意,IP地址在2011-1-10修改过)

域名申请的事情还在进行中,还有很多事情要做。最终这是一个类似taobao code(淘蝌蚪)的开源平台,我们的名字叫做Open Sesame。

分享到:
评论
275 楼 sam_chi 2011-01-08  
已经从SVN把代码checkout下来了,学习中,请大家看完人家的代码再去说话,不要乱喷,都不是孩子了!
274 楼 wtusmchen 2011-01-08  
刚签出代码测了一下,发现一个大大的问题,不知道是你们代码改错了还是我签出的有问题,Timestamp问题是解决了,但是速度慢的一塌糊涂。。。
gson time=1218     jackson time=46    fashjson time=122150

如果用你们的jar测试速度就快很多,下面是我简单跑的一点数据,不是很严谨,仅供参考,功能就是序列化一个List到json String,list=2000表示list的size,count表示序列化次数。感觉对Object的序列化fastjson有优势,list的则是jackson有优势
***************list=2000*************
****count=1****
gson time=332
jackson time=5
fashjson time=6

****count=10****
gson time=1104
jackson time=38
fashjson time=59

****count=100****
gson time=20542
jackson time=474
fashjson time=572

****************list=200*******************
****count=10****
gson time=182
jackson time=10
fashjson time=10

****count=100****
gson time=1352
jackson time=50
fashjson time=60

****count=1000****
gson time=9911
jackson time=382
fashjson time=540

****************list=20*******************
****count=1000****
gson time=1983
jackson time=114
fashjson time=100

****count=10000****
gson time=14379
jackson time=432
fashjson time=502

****count=50000****
gson time=59188
jackson time=1810
fashjson time=2465

****************list=2*******************
****count=50000****
gson time=6231
jackson time=299
fashjson time=252

****count=100000****
gson time=9447
jackson time=512
fashjson time=470

****************Object*******************
****count=100000****
gson time=5655
jackson time=336
fashjson time=220

****count=300000****
gson time=13324
jackson time=820
fashjson time=660
273 楼 wtusmchen 2011-01-08  
个人认为日期的序列话采用jackson的方式比较好,最通用。
jackson : 1294408029033

--fastjson目前好像也是这种,支持
272 楼 william_ai 2011-01-08  
MapSerializer这个类的write怎么没有用buffer啊?
271 楼 wenxiang_tune 2011-01-08  
行了,说点正经的。。。
270 楼 lfsfxy9 2011-01-08  
lz 真是一石激起千层浪呀。
269 楼 sdh5724 2011-01-07  
日期的序列化,目前不同的json processor的实现都是不一样的,如下:
引用


  • fastjson : new Date(1294408029033)
  • jackson : 1294408029033
  • simplejson : Fri Jan 07 21:47:09 CST 2011
  • json-lib : {"date":7,"day":5,"hours":21,"minutes":47,"month":0,"seconds":9,"time":1294408029033,"timezoneOffset":-480,"year":111}
  • gson : "2011-1-7 21:47:09"


目前fastjson采用支持new Date()和long两个格式输出,也可以自定义。大家有什么建议么?

simplejson在日期的序列化是乱来的,json-lib也是乱来的。gson的方式倒是可以考虑直接支持的(目前可以通过扩展支持)。


通常可以定义一个全局的DATEFORMAT
268 楼 wenshao 2011-01-07  
日期的序列化,目前不同的json processor的实现都是不一样的,如下:


  • fastjson : new Date(1294408029033)
  • jackson : 1294408029033
  • simplejson : Fri Jan 07 21:47:09 CST 2011
  • json-lib : {"date":7,"day":5,"hours":21,"minutes":47,"month":0,"seconds":9,"time":1294408029033,"timezoneOffset":-480,"year":111}
  • gson : "2011-1-7 21:47:09"


目前fastjson采用支持new Date()和long两个格式输出,也可以自定义。大家有什么建议么?

simplejson在日期的序列化是乱来的,json-lib也是乱来的。gson的方式倒是可以考虑直接支持的(目前可以通过扩展支持)。
267 楼 wenshao 2011-01-07  
sdh5724 写道
wtusmchen 写道
简单测了一下,确实挺快的,只是在极特别的情况下(List很大的时候)略慢于jackson。
另外建议处理一下Date、Timestamp的json to object方法。我把json转换到object的时候,如果有Timestamp类型,fashjson会出错,jackson则没这个问题

----期待发布正式版



可能list的预先分配大小的问题。


不是的,这是因为jackson使用了一个叫做BufferRecycler的东西,BufferRecycler缓存一批size为2000的char数组。这种驻留内存优化手段的方式我不是很愿意采用。考虑考虑。。。
266 楼 wenshao 2011-01-07  
william_ai 写道
国内开源做的很多,不过做的好的就寥寥无几了,希望fastjson能冲出亚洲走向世界。


一个开源项目要运作好不容易,fastjson目前还缺很多东西。包括文档、Demo、maven repository、JIRA。

目前计划是,希望春节前能发一个1.0版本。

刚放出来,可能还存在一些问题,希望大家一起来做code review,提建议,一起来完善好它,做java中最好的json processor。
265 楼 wenshao 2011-01-07  
peterwei 写道
william_ai 写道
peterwei 写道
那么久还没搞完呀?

SVN地址已经放出来了
http://121.0.29.20/svn/fastjson/trunk/

已签出,晚上看看。测试性能相关的代码有吗?


/src/test/java/com/alibaba/json/test/performance
264 楼 wenshao 2011-01-07  
wtusmchen 写道
简单测了一下,确实挺快的,只是在极特别的情况下(List很大的时候)略慢于jackson。
另外建议处理一下Date、Timestamp的json to object方法。我把json转换到object的时候,如果有Timestamp类型,fashjson会出错,jackson则没这个问题

----期待发布正式版


谢谢提建议,能否把情况说的更清楚一些。

1、什么情况会比jackson慢?请把场景说清楚一些,好让我查问题,去测试改进。

2、(抱歉,之前没有很看清楚你的问题)。
对java.sql.Date和java.sql.Timestamp的支持已经加上,你更新代码就好了。谢谢你的建议,帮我修正了一个问题 
263 楼 sdh5724 2011-01-07  
wtusmchen 写道
简单测了一下,确实挺快的,只是在极特别的情况下(List很大的时候)略慢于jackson。
另外建议处理一下Date、Timestamp的json to object方法。我把json转换到object的时候,如果有Timestamp类型,fashjson会出错,jackson则没这个问题

----期待发布正式版



可能list的预先分配大小的问题。
262 楼 wtusmchen 2011-01-07  
简单测了一下,确实挺快的,只是在极特别的情况下(List很大的时候)略慢于jackson。
另外建议处理一下Date、Timestamp的json to object方法。我把json转换到object的时候,如果有Timestamp类型,fashjson会出错,jackson则没这个问题

----期待发布正式版
261 楼 peterwei 2011-01-07  
william_ai 写道
peterwei 写道
那么久还没搞完呀?

SVN地址已经放出来了
http://121.0.29.20/svn/fastjson/trunk/

已签出,晚上看看。测试性能相关的代码有吗?
260 楼 william_ai 2011-01-07  
peterwei 写道
那么久还没搞完呀?

SVN地址已经放出来了
http://121.0.29.20/svn/fastjson/trunk/
259 楼 peterwei 2011-01-07  
那么久还没搞完呀?
258 楼 william_ai 2011-01-07  
国内开源做的很多,不过做的好的就寥寥无几了,希望fastjson能冲出亚洲走向世界。
257 楼 mfkvfn 2011-01-07  
开个源搞这么复杂。还不如直接压缩成zip,放在哪个网盘上,然后把链接地址放在这里。
256 楼 vb2005xu 2011-01-07  
不错 现在两样都有了 xml使用 simple-xml json使用 fastjson 或者 nutz json 不错 哈哈哈

相关推荐

    elasticdump报错

    6: v8::internal::Handle<v8::internal::String> v8::internal::JsonParser<false>::SlowScanJsonString<v8::internal::SeqTwoByteString, unsigned short>(v8::internal::Handle<v8::internal::String>, int, int)...

    JSONParser所需jar包 json simple jar包

    JSONParser是Java编程语言中用于解析JSON(JavaScript Object Notation)数据的一种工具。JSON是一种轻量级的数据交换格式,它基于ECMAScript的一个子集,采用完全独立于语言的文本格式,易于人阅读和编写,同时也...

    JSONParser.java

    json解析的示例

    JsonParser_java:纯java写的JSON解析器-eclipse工程

    "JsonParser_java"项目就是一个基于纯Java实现的JSON解析器,适用于Eclipse开发环境。 这个项目的核心目标是提供一个轻量级的解决方案,让用户能够理解和控制JSON解析过程。在Java中,这通常涉及读取JSON字符串,将...

    Kotlin-JsonParser:Kotlin-JsonParser是用于JSON解析的Kotlin库。 它可以将JSON字符串解析为Kotlin Object或以一种简单的方式进行反向

    Kotlin-杰森·帕瑟(Kotlin-JsonParser) Kotlin-JsonParser是用于JSON解析的Kotlin库。 它可以将JSON字符串解析为Kotlin Object或以一种简单的方式反向。... implementation 'com.tomatobean:jsonparser:1.0.

    matlab开发-JSONParser

    对于`JSONParser`这个项目,`license.txt`可能指定了该代码的许可协议,例如MIT、Apache 2.0或者GPL等。这些协议规定了代码的使用、修改和分发的规则,确保了开源软件的合规使用。 在实际应用中,理解JSONParser的...

    开源项目-buger-jsonparser.zip

    在Go语言中,标准库`encoding/json`提供了JSON的解析和编码功能,但本项目buger/jsonparser作为替代方案,旨在提供更快的性能,这对于处理大量JSON数据的程序尤其重要。 JSON(JavaScript Object Notation)是一种...

    jsonparser.zip

    - JSON-P (JSR 353) 和 JSON-B (JSR 374):Java EE标准,提供了API进行JSON处理。 2. JSON解析的基本步骤: - 创建JSON对象或数组:根据JSON字符串,使用解析器创建相应的JSONObject或JSONArray对象。 - 读取...

    JSON转化工具类 JSONParser.zip

    JSON转化工具类 JSONParser ,iOS数据转化组件 (JSONParser),支持JSON字符串、模型、字典、模型数组、字典数组之间...

    Android代码-JsonParser

    JsonParser Json parsing tool can flexibly configure Import add to build.gradle,${latest.version} is dependencies { compile 'com.blakequ.parser:parser:${latest.version}' } maven ...

    JSONParser:在 Java 对象上使用 Gson (toJsonfromJson)

    JSON解析器在 Java 对象上使用 Gson (toJson / fromJson) 展示了 Gson 库的简单使用,将 Java 对象转换为 JSON 格式,反之亦然; 将 JSON 字符串转换为 Java 对象。

    JSONParser-master_websocket_源码.rar

    JSONParser-master_...这个压缩包可能包含了实现这些功能的源代码,具体细节需要解压后查看代码来深入理解。如果你需要开发基于WebSocket的实时应用,并且涉及到JSON数据的交换,这个源码将是一个很好的学习资源。

    java程序B站json字幕转srt

    9. **面向对象编程**:这个程序很可能采用了面向对象的设计模式,将不同的功能封装到不同的类中,如`JsonParser`用于解析JSON,`SrtGenerator`用于生成SRT,这样可以使代码更清晰、可维护性更强。 10. **软件工程...

    JSONParser-master_websocket_源码.zip

    结合JSONParser和WebSocket,这个项目可能提供了一个解决方案,用于通过WebSocket实时传输和解析JSON数据。例如,服务器可以发送JSON格式的消息,客户端接收到消息后,使用JSONParser解析成对象,然后进行相应的业务...

    JSONParser:JSON解析器

    - `JSONParser` 类:虽然名为`JSONParser`,但这个库实际上并没有提供一个单独的解析器类。解析JSON通常通过`JSONObject`或`JSONArray`的构造函数完成,它们可以接受一个字符串参数并自动解析。 2. **...

    jsonParser

    这个库可能是一个开源项目,用于帮助开发者高效地解析和生成JSON格式的数据。 JSON格式本身具有易读性,它由键值对组成,键用引号括起来,值可以是字符串、数字、布尔值、数组、对象或者null。在C++中,解析JSON...

    JsonParser.java

    利用java反射机制实现的json与java对象互相转化的工具,只暴露了两个空开的接口,其他接口都是私有的。

    PyPI 官网下载 | jsonparser-1.0.tar.gz

    Python的内置`json`模块提供了基本的JSON编码和解码功能,但`jsonparser`可能提供额外的特性或优化,例如更快的解析速度、更丰富的错误处理机制或者支持特定的JSON扩展。 **安装与使用** 要安装`jsonparser`,首先...

Global site tag (gtag.js) - Google Analytics