资讯频道 → 互联网
阅读更多

1顶
0踩

互联网

原创新闻 开源、高效、跨平台：深剖Google FlatBuffers工作原理

2015-08-31 14:18 by 副主编 mengyidan1988 评论(1) 有7716人浏览
google 数据结构 FlatBuffers 移动开发

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

JSON——大家可能都知道它是几乎所有现代服务器都使用的轻量级数据交换格式。它体量轻，可读性强，通常比老式的、不友好的XML开发起来更加便捷友好。JSON是不依赖于开发语言的数据格式，但是在解析数据并将其转换到如Java对象时，会消耗我们的时间和存储资源。

几天前，Facebook宣布，其Android应用程序大幅提升了数据处理性能。这是由于几乎在全部应用程序中放弃了JSON数据格式，用FlatBuffers取而代之了。阅读这篇文章可以获得关于FlatBuffers的基础知识，学会如何从JSON转换到FlatBuffers。

虽然这东西是非常有前景的，但是乍一看其实现过程不是一下子就能明白的。而且Facebook也没有说得很详细。这就是为什么我要写这篇文章，在其中展示我们是如何使用Flatbuffers开展工作的。

FlatBuffers

总之，FlatBuffers是Google专门为游戏开发而创建的跨平台序列化库，就像Facebook所展示的那样，它在Android平台上遵循快速响应UI的16ms规则。

但是，在把所有数据迁移到FlatBuffers之前，你要确定确实需要这样做。因为，这样做有时对性能的影响是潜移默化的，而且数据安全性要比计算速度上几十毫秒的差异更重要。

什么使得Flatbuffers如此奏效？
  • 由于是以二进制形式缓存，访问序列化数据时也无需数据解析过程。即使对于层次化数据也不需要解析。多亏不需要初始化解析器（初始化意味着要建立复杂的字段映射）和解析数据，这些都是需要花费时间的。
  • Flatbuffers数据不需要分配比自身使用缓冲区还要多的内存。我们不必像在JSON中那样为解析数据的整个层次分配额外对象。

要获得正宗的数据，就再读一读Facebook上关于FlatBuffers迁移问题的文章，还有Google自己的文档。

实现

本文将介绍在Android应用程序中使用Flatbuffers的最简单方法：

  • JSON数据在应用程序之外的某个地方被转换成FlatBuffer格式的文件（例如，将二进制数据以文件的形式提交，还可以从API直接返回FlatBuffer二进制文件）。
  • 在flatc (FlatBuffer编译器)的帮助下，手工生成数据模型（Java类）。
  • JSON文件存在一定的局限性（不能使用null字段，日期格式也被解析为字符串）。

将来，我们或许会提出更复杂的解决方案。

FlatBuffers编译器

首先，我们需要flatc，即flatbuffers编译器。该编译器可以从Google所属的源代码构建，源代码位于Flatbuffers资源库中。我们下载并克隆它。整个构建过程在FlatBuffers构建文档中都做了描述。如果你是Mac用户的话，需要这样来构建：

1.在\{extract directory}\build\XcodeFlatBuffers.xcodeproj路径下，打开已下载的源代码。
2.点击Play按钮或⌘ + R，运行flatc scheme（默认情况下应该是被选中的）。
3.flatc可执行文件就会在项目的根目录下出现。
现在，我们可以使用schema编译器了，该编译器能够把给定的schema（在Java、C#、Python、GO和C++语言中的schema）生成为模型类，还可以把JSON转换成Flatbuffer的二进制文件。

Schema文件

接着，我们必须准备schema文件，该文件定义了要进行序列化和反序列化的数据结构。这个schema将用于flatc创建Java模型，把JSON转换成FlatBuffers的二进制文件。

这里是JSON文件的一部分。

完整版本在这里。这是略微修改后的版本，可以从Github API调用：https://api.github.com/users/google/repos 。

Flatbuffer schema是编写得很好的文档，所以就不深入探讨这个问题了。另外，本文中的schema不会很复杂。我们所要做的仅仅是创建3张表：ReposList, Repo和User，并定义root_type。这是schema的重要组成部分。

完整的schema文件在这里。

FlatBuffers数据文件

真棒，我们现在要做的是把repos_json.json转换成FlatBuffers二进制文件，生成能够以Java风格表示数据的Java模型（此处操作所需的全部文件都在我们的代码库中）： 
$ ./flatc -j -b repos_schema.fbs repos_json.json

如果一切顺利，会产生下列文件：
  • repos_json.bin（要将重命名它为 repos_flat.bin）
  • Repos/Repo.java
  • Repos/ReposList.java
  • Repos/User.java

Android应用程序
现在来创建示例程序，在实践中来看看Flatbuffers格式是如何起作用的。这是截图：



在UI部分，ProgressBar仅用于显示不恰当的数据处理对用户界面顺畅度的影响。

应用文件看起来是这个样子：app/build.gradle

当然，在本例中不是必须要用Rx或ButterKnife这样的视图注入利器，但是为什么不让应用更细致一些呢？？

我们把repos_flat.bin 和 repos_json.json文件放到res/raw/目录下。RawDataReader是工具类，它帮助我们读取Android应用中的原始文件。

最后，把Repo，ReposList和User这三张表对应的模型类代码放到项目源代码中。

FlatBuffers库

使用Java语言编程过程中，FlatBuffers提供了可以直接处理这种数据格式的库，也这是flatbuffers-java-1.2.0-SNAPSHOT.jar文件。如果你想手工生成该文件，需要下载FlatBuffers源代码，再到目录java/下，用Maven生成该库： 
$ mvn install

现在将.jar文件放到Android项目的app/libs/目录下。

好了，当务之急是实现MainActivity类，这是完整源代码。

我们最为关注的两个方法是：
  • parseReposListJson(String reposStr) - 这个方法初始化Gson解析器，并把JSON字符串转换成Java对象。
  • loadFlatBuffer(byte[] bytes)  - 这个方法将字节（repos_flat.bin文件）转换成Java对象。

使用FlatBuffers的结果

现在让我们把JSON和FlatBuffers在加载时间和资源消耗方面的差异形象化。测试是在带有Android M（beta版）的Nexus 5上进行的。

使用FlatBuffers的结果

现在让我们把JSON和FlatBuffers在加载时间和资源消耗方面的差异形象化。测试是在带有Android M（beta版）的Nexus 5上进行的。

加载时间

测量的过程是将其他文件转换为Java源文件，对所有（90个）元素进行迭代。
  • 使用JSON：JSON文件（大小：478kB）平均加载时间200ms（时间区间：180ms～250ms）；
  • 使用FlatBuffers：FlatBuffers二进制文件（大小：352kB）平均加载时间5ms（时间区间：3ms～10ms）。

记得16ms规则吗？我们在UI线程中调用这些方法的原因就是要看看在这种情况下界面表现如何：

JSON数据加载效果：




FlatBuffers数据加载效果：



看出区别了吗？JSON数据的加载过程中， ProgressBar停顿了一会，界面不是那么顺畅（加载时间超过了16ms）。

内存分配、CPU等资源

还有什么想要测量的吗？也许应该测量一下Android Studio 1.3，还有那些新特性。例如，内存分配跟踪器（Allocation Tracker），内存状态查看器（Memory Viewer）和方法跟踪器（Method Tracer）。

源代码

这里所讲解项目的完整源代码都在Github代码库中。你不需要接触整个FlatBuffers项目，所需的内容全都在flatbuffers/目录下。（翻译/张挥戈  友情审校/白云鹏）

文章来源：froger_mcs dev blog

作者简介：

Miroslaw Stanek，Azimo Money Transfer公司移动项目负责人，Android和iOS平台程序员，视频游戏玩家，冰雪运动爱好者。个人博客：http://frogermcs.github.io。

译者简介：

张挥戈，长期从事计算机软件开发、项目管理和产品设计工作，曾在多家移动互联网公司任技术总监。关注Android平台相关技术以及其他平台客户端软件开发相关话题。
  • 大小: 41.5 KB
  • 大小: 57.3 KB
  • 大小: 68.1 KB
来自: CSDN
1
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 abc-127 2015-09-08 10:49
好像都没有什么例子 baidu半天都是介绍 java 后台怎么用？

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • FlatBuffers:高效内存序列化库-开源

    FlatBuffers是一个开放源代码，跨平台的序列化库，旨在最大程度地提高内存效率。 FlatBuffers最初由Google创建，用于游戏开发和其他对性能有严格要求的应用程序，它具有独特的功能，可让您直接访问序列化数据，而...

  • Google高效开源跨平台序列化库FlatBuffers 1.1发布

    经过几个月开发，FlatBuffers 1.1版本更新。这次的更新包含： 对Java API进行了广泛的检修 out-of-the-box支持C#和Go 一个可选的校对器，使FlatBuffers在不可信的情况下变得实用 原型解析更容易从协议缓冲区迁移 ...

  • Google高效开源跨平台序列化库FlatBuffers 1.1新特性

    FlatBuffers相对ProtocolBuffer的优势是：无需反序列化，但代价是encode之后的体积相对ProtocolBuffer更大 原文：http://geek.csdn.net/news/detail/29744   经过几个月开发，FlatBuffers 1.1版本更新。这次的...

  • 谷歌开源高效、跨平台的序列化库FlatBuffers

    近日，谷歌“Fun Propulsion Labs”团队开源了FlatBuffers。该库的构建是专门为游戏开发人员的性能需求提供支持，它将序列化数据存储在缓存中，这些数据既可以存储在文件中，又可以通过网络原样传输，而不需要任何...

  • Google FlatBuffers——开源、跨平台的新一代序列化工具

    前段时间刚试用了一个序列化工具cereal，请看 cereal:C++实现的开源序列化库，打算再总结下我对google proto buf序列化库的使用呢， 结果还没动手，大Google又出...FlatBuffers是一个开源的、跨平台的、高效的、提供

  • 深入浅出FlatBuffers原理

    简介：FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写，并由 Google 开源。本文将基于高德地图...

  • C++跨平台开源库 之二

    开源、免费，不依赖第三方库，支持跨平台。 http://www.cs.wustl.edu/~schmidt/ACE.html   (2)Asio Asio基于Boost开发的异步IO库，封装了Socket，简化基于socket程序的开发。 开源、免费，支持跨平台。 ...

  • FlatBuffers学习

    FlatBuffers学习 1.为什么使用FlatBuffers 使用FlatBuffers的原因很简单，那就是简单、效率高和便利。 为了传输数据，我们做了不少努力，研制出不少编解码方法，如：BER、PER、JSON、BSON、XML、HTML等。然而，...

  • fastFFI 官宣开源，一款高效的 Java 跨语言通信框架

    fastFFI 是一个现代高效的 FFI 框架，其开发初衷是提高不同语言之间相互通信的易用性与性能，目前的实现主要是针对 Java 访问 C++ 代码和数据。不同程序设计语言擅长解决不同的问题，因此跨语言调用的需求在现代软件...

  • TFLite: flatbuffers

    FlatBuffers 是一个序列化开源库，实现了与 Protocol Buffers，Thrift，Apache Avro，SBE 和 Cap'n Proto 类似的序列化格式，主要由 Wouter van Oortmerssen 编写，并由 Google 开源。Oortmerssen 最初为 Android ...

  • 开源巨献：Google最热门60款开源项目

    本文为大家整理了 Google 开源的热门项目，排名顺序按照 Github ★Star 数排列。 0、机器学习系统 TensorFlow ★Star 62533 TensorFlow 是谷歌的第二代机器学习系统，按照谷歌所说，在某些基准测试中，...

  • 深入浅出 FlatBuffers 原理

    FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写，并由 Google 开源。Oortmerssen 最初为 ...

  • spring-ai-spring-boot-autoconfigure-1.0.0-M5.jar中文文档.zip

    # 【spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip】 中包含： 中文文档：【spring-ai-spring-boot-autoconfigure-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址：【spring-ai-spring-boot-autoconfigure-***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖：【spring-ai-spring-boot-autoconfigure-***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖：【spring-ai-spring-boot-autoconfigure-***.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址：【spring-ai-spring-boot-autoconfigure-***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字： spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip,java,spring-ai-spring-boot-autoconfigure-***.jar,org.springframework.ai,spring-ai-spring-boot-autoconfigure,***,org.springframework.ai.autoconfigure.anthropic,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,springframework,spring,ai,boot,autoconfigure,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压 【spring-ai-spring-boot-autoconfigure-***.jar中文文档.zip】，再解压其中的 【spring-ai-spring-boot-autoconfigure-***-javadoc-API文档-中文(简体)版.zip】，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件； # Maven依赖： ``` <dependency> <groupId>org.springframework.ai</groupId> <artifactId>spring-ai-spring-boot-autoconfigure</artifactId> <version>***</version> </dependency> ``` # Gradle依赖： ``` Gradle: implementation group: 'org.springframework.ai', name: 'spring-ai-spring-boot-autoconfigure', version: '***' Gradle (Short): implementation 'org.springframework.ai:spring-ai-spring-boot-autoconfigure:***' Gradle (Kotlin): implementation("org.springframework.ai:spring-ai-spring-boot-autoconfigure:***") ``` # 含有的 Java package（包）： ``` org.springframework.ai.autoconfigure.anthropic org.springframework.ai.autoconfigure.azure.openai org.springframework.ai.autoconfigure.bedrock org.springframework.ai.autoconfigure.bedrock.anthropic org.springframework.ai.autoconfigure.bedrock.anthropic3

  • 50页-道路环卫保洁服务项目管理计划方案.pdf

    在当今智慧城市的建设浪潮中，智慧环卫作为城市管理的重要组成部分，正以其独特的魅力引领着环卫行业的变革。本方案旨在通过一系列高科技手段，如物联网、大数据、云计算等，全面提升环卫作业效率与管理水平，为城市居民创造更加清洁、宜居的生活环境。 一、智慧环卫系统概述与核心亮点 智慧环卫系统是一个集机械化保洁、垃圾清运、设施管理、事件指挥调度等多功能于一体的综合性管理平台。其核心亮点在于通过高精度定位、实时监控与智能分析，实现环卫作业的精细化管理。例如，机械化保洁管理子系统能够实时监控机扫车、洒水车等作业车辆的运行状态，自动规划最优作业路线，并根据作业完成情况生成考核评价报表，极大地提高了作业效率与服务质量。同时，垃圾清运管理子系统则通过安装GPS定位设备和油量传感器，对清运车辆进行全方位监控，确保垃圾清运过程的规范与高效，有效解决了城市垃圾堆积与随意倾倒的问题。此外，系统还配备了垃圾箱满溢报警系统，通过智能感应技术，当垃圾箱内垃圾达到预设高度时自动报警，提醒作业人员及时清运，避免了因垃圾满溢而引发的居民投诉与环境污染。 二、智慧环卫系统的趣味性与知识性融合 智慧环卫系统不仅实用性强，还蕴含着丰富的趣味性与知识性。以餐厨垃圾收运管理子系统为例，该系统通过为餐厨垃圾收运车辆安装GPS定位、车载称重、视频监控等多种感知设备，实现了对餐厨垃圾收运过程的全程监控与智能管理。作业人员可以通过手机APP实时查看车辆位置、行驶轨迹及收运情况，仿佛在玩一场现实版的“垃圾追踪游戏”。同时，系统还能自动生成餐厨垃圾收运统计报表，帮助管理人员轻松掌握收运量、违规情况等关键数据，让数据管理变得既科学又有趣。此外，中转站视频监控子系统更是将趣味性与实用性完美结合，通过高清摄像头与双向语音对讲功能，实现了对中转站内外环境的实时监控与远程指挥，让管理人员足不出户就能掌控全局，仿佛拥有了一双“千里眼”和一对“顺风耳”。 三、智慧环卫系统的未来展望与社会价值 随着科技的不断进步与智慧城市建设的深入推进，智慧环卫系统将迎来更加广阔的发展前景。未来，智慧环卫系统将更加注重数据的深度挖掘与分析，通过大数据与人工智能技术，为城市环卫管理提供更加精准、高效的决策支持。同时，系统还将加强与其他城市管理系统的互联互通，实现资源共享与协同作战，共同推动城市管理的智能化、精细化水平。从社会价值来看，智慧环卫系统的推广与应用将有效提升城市环境卫生质量，改善居民生活环境，提升城市形象与竞争力。此外，系统还能通过优化作业流程、减少资源浪费等方式，为城市可持续发展贡献重要力量。可以说，智慧环卫系统不仅是城市管理的得力助手，更是推动社会进步与文明发展的重要力量。

  • 微信小程序驾校管理平台约车小程序demo完整源码下载-完整源码.zip

    微信小程序驾校管理平台约车小程序demo完整源码下载_完整源码

  • MATLAB实现含风电不确定性的电力系统低碳调度模型

    内容概要：本文详细介绍了使用MATLAB和YALMIP工具包构建的电力系统低碳调度模型。该模型主要解决风电和负荷不确定性带来的挑战，采用模糊机会约束处理风电预测误差，将复杂的非线性约束转化为混合整数线性规划问题。文中展示了如何通过分段线性化、大M法等技巧提高求解效率，并实现了包括火电、水电、风电、储能等多种能源类型的综合调度。此外，还讨论了碳排放成本、启停时间约束、爬坡率约束以及储能系统的建模方法。最终，通过结果可视化展示各成本构成及其对调度策略的影响。 适合人群：从事电力系统优化研究的专业人士，尤其是熟悉MATLAB编程并希望深入了解低碳调度模型的研究人员和技术人员。 使用场景及目标：适用于需要处理风电不确定性、优化电力系统调度的研究项目。目标是降低电力生产成本的同时减少碳排放，确保电力系统的稳定性和经济性。 其他说明：代码中包含了详细的注释和扩展提示，方便进一步修改与应用。对于大规模电力系统调度问题，提供了高效的求解策略和性能优化建议。

  • OFDM、OOK、PPM、QAM 的误码率模拟【绘制不同调制方案的误码率曲线】附Matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

  • my lib1.SCHLIB

    my lib1.SCHLIB

  • 工控领域西门子PLC动态加密计时催款程序：设备催款与规范验收的技术实现

    内容概要：本文详细介绍了西门子PLC动态加密计时催款程序的设计与实现。该程序旨在解决工控领域中常见的客户拖延付款问题。通过利用PLC的定时器功能和复杂的加密算法，程序能够在设备运行一段时间后自动触发锁机机制，提醒客户按时验收付款。主要内容包括加密计时的核心思路、代码示例与分析、动态加密的具体实现方法以及柔性锁机的应用技巧。此外，文中还提供了具体的SCL代码片段，展示了如何通过时间校验、动态密钥生成和渐进式降速等方式实现灵活的锁机控制。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是负责PLC编程和设备管理的专业人士。 使用场景及目标：适用于设备调试完成后客户拖延付款或拒绝验收的场景。主要目标是通过技术手段保障供应商的合法权益，促进客户按时履约，减少因款项延迟带来的经济损失。 其他说明：文中强调了技术催款并非为了惩罚客户，而是为了建立良好的契约精神。同时，作者分享了一些实用的经验和技巧，如设置合理的调试接口、时间缓冲期和操作提示，确保程序既有效又人性化。

Global site tag (gtag.js) - Google Analytics