`
FZtree
  • 浏览: 109710 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

大数据转JSON别用to_json

 
阅读更多

本文转载,http://blog.hellolucky.info/articles/ruby-on-rails-large-amounts-of-data-transfer-json-the-use-json-generate-data/

 

最近在等设计,空闲时间就tune一下api server。因为我一直很纳闷,为何action只是很单纯的到Redis捞出数据吐json,也没有什么特别的动作,到redis捞数据只需要10ms,可是最后renderjson的时候竟然变成70~80ms,一整个很扯。

 

一开始的想法以为是Rails的包袱太重,所以我的方向朝向调整api controller,于是我就把ActionController::Base换成ActionController::Metal,一开始很兴奋的测试,只render text的时候的确快到爆炸,不过当我开始捞数据吐json的时候,速度其实和原本差不多。

 

突然脑袋灵机一动,把data.to_s试看看,速度快了约30ms,当下有点傻眼,后来google了一下to_json真的是个很慢的method,改成JSON.generate(data)的话一样快了约30ms

 

 

之后有空的时候再测试一下https://github.com/msgpack/msgpack-ruby,速度快又省空间

 

 

分享到:
评论

相关推荐

    将各种数据转换JSON格式

    在JavaScript中,我们可以使用`JSON.stringify()`方法将JavaScript对象转换为JSON字符串,再用`fs`模块写入文件。 对于XML到JSON的转换,Python有`xmltodict`库,JavaScript有`xml2js`库等。这些库可以解析XML结构...

    一些有用的自定义配置单元udf函数、特殊数组、json、数学、字符串函数。___下载.zip

    在IT行业中,尤其是在大数据处理领域,Hive是一个广泛使用的数据仓库工具,它允许用户通过SQL-like语法查询和管理大规模的数据集。"一些有用的自定义配置单元udf函数、特殊数组、json、数学、字符串函数。___下载....

    Python库 | jsontoexcel-0.3-py3-none-any.whl

    **Python库jsontoexcel简介** `jsontoexcel`是一个Python库,主要功能是将JSON格式的数据转换为Excel文件。在当今大数据时代,JSON作为一种轻量级的数据交换格式,广泛应用于前后端数据传输。然而,对于数据分析和...

    自然语言,数据清洗后存储成jsonl格式文件

    3. 将清洗后的数据转化为JSON格式,可以使用pandas的`to_dict`函数。 4. 将JSON对象写入JSONL文件,每行写入一个对象,可以使用Python的`write`函数逐行写入。 这种转换对于处理大规模自然语言数据尤其有用,因为...

    Python库 | json2parquet-0.0.8-py2-none-any.whl

    注意,`json_to_parquet`函数还支持直接从JSON字符串和Python字典进行转换。 此外,`json2parquet`库还支持一些高级特性,比如自定义列映射、设置列编码和压缩方式等,这为用户提供了更多的灵活性。在实际应用中,...

    Introduction_to_Apache_Flink_MapR_final

    它提供了低延迟的数据处理,并支持事件时间窗口和状态管理,使得在大数据领域中进行复杂事件处理成为可能。Flink 被广泛应用于实时数据管道、数据集成以及实时分析。在这个“Introduction_to_Apache_Flink_MapR_...

    Json.Net DLL (Newtonsoft).zip

    Json.NET提供了LINQ to JSON API,允许使用LINQ查询JSON对象。这使得处理JSON结构更加直观,例如筛选、投影和转换JSON数据。 4. **类型转换与自定义转换器**: Json.NET支持自定义类型转换器,可以通过继承`...

    ps_to_es 解析程序

    总结来说,"ps_to_es 解析程序"是连接PostScript世界与Elasticsearch世界的一个桥梁,它帮助用户将复杂的PS文档转换为可搜索、分析的ES数据,从而在大数据环境中发挥PostScript文档的价值。理解这个工具的工作原理和...

    thinkphp5框架实现数据库读取的数据转换成json格式示例

    在本文中,我们将深入探讨如何使用ThinkPHP5框架将从数据库读取的数据转换为JSON格式。这个过程对于前端展示数据,特别是与JavaScript交互时非常关键,因为JSON是一种轻量级的数据交换格式,易于人阅读和编写,同时...

    json 的解析demo

    9. **性能优化**:如果处理大量数据,要考虑使用Gson或Jackson等高性能的JSON库,它们提供了流式API,能更有效地处理大数据。 10. **兼容性**:不同版本的JSON库可能存在API差异,使用时要确保与项目所依赖的库版本...

    spark SQL学习parquet文件和people.json文件

    df_json = spark.read.json('path/to/people.json') ``` 需要注意的是,如果`people.json`是一个包含多个JSON对象的文件(每个对象占一行),`spark.read.json()`会正确处理。但如果它是一个大JSON数组,你需要先将...

    JSON开发完整资源包

    例如,Gson库通过`Gson().toJson()`方法将Java对象转换为JSON,而`Gson().fromJson()`则可以将JSON字符串还原为Java对象。 资源包中提到的"和其他框架整合的jar"可能包含了这些JSON处理库,使得开发者可以直接在...

    Jason转换excel格式

    `pd.read_json()`函数用于读取Jason文件,`chunksize=500`参数表示每次读取500条数据,`to_excel()`则用于将DataFrame写入Excel文件。 在实际应用中,我们可能还需要处理更复杂的情况,例如处理嵌套的Jason对象、...

    一个使用iterator和json技术的实例

    `JSONArray`的用法可能包括创建一个新的`JSONArray`对象,然后使用`put()`方法添加Java对象(如字符串、整数、其他JSON对象等)。一旦数据填充完成,可以通过`toString()`方法将`JSONArray`转换为JSON格式的字符串,...

    Newtonsoft.Json.dll

    提供了`JObject`,`JArray`,`JToken`等类,允许开发者用查询表达式(LINQ)直接操作JSON数据,无需先将其转换为.NET对象。 5. **Net45、Net20、Net35、Net40**: 这些是不同的.NET框架版本。Net45代表.NET ...

    hive,json格式传送,加载数据

    总结来说,Hive 通过 JSON-Serde 和 JSON-UDF 扩展,能够有效地处理 JSON 格式的数据,使得在大数据环境中对 JSON 数据的分析变得更加便捷。正确配置和使用这些工具,可以确保数据加载和查询的顺利进行。

    一个运用Extjs,Struts2, json,iterator技术构建的iterator_jsonDemo2。 将数据从后台传到Extjs表现层。

    一个运用Extjs,Struts2, json,iterator技术构建的iterator_jsonDemo2。... Use Extjs,Struts2, JSON,iterator technology, Data to Extjs from the background layer. Comment more, for your reference.

    Json解析Demo

    在实际开发中,根据具体需求,你可能还需要考虑性能优化,例如使用流式解析库,或者在大数据量情况下避免一次性加载整个JSON字符串。通过不断的实践和学习,你可以更好地掌握JSON处理的技巧,提升你的编程能力。

    Json查看器

    这个库提供了丰富的功能,包括序列化和反序列化JSON,支持JSON Schema,以及处理JSONPath和LINQ to JSON等。 在10.0版本中,`Newtonsoft.Json`引入了对Unicode的支持,这意味着Json查看器能够正确地显示包含多语言...

    Newtonsoft.Json.6.0.5

    Json.NET还支持LINQ查询,即LINQ to JSON,这使得可以使用LINQ表达式直接在JSON对象上进行操作。6.0.5版的LINQ to JSON API非常直观,允许开发者方便地创建、读取和修改JSON数据。 5. **动态JSON** 使用Json.NET...

Global site tag (gtag.js) - Google Analytics