开源、高效、跨平台：深剖Google FlatBuffers工作原理

1顶
0踩

2015-08-31 14:18 by 副主编 mengyidan1988 评论(1) 有7639人浏览

google 数据结构 FlatBuffers 移动开发

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

JSON——大家可能都知道它是几乎所有现代服务器都使用的轻量级数据交换格式。它体量轻，可读性强，通常比老式的、不友好的XML开发起来更加便捷友好。JSON是不依赖于开发语言的数据格式，但是在解析数据并将其转换到如Java对象时，会消耗我们的时间和存储资源。

几天前，Facebook宣布，其Android应用程序大幅提升了数据处理性能。这是由于几乎在全部应用程序中放弃了JSON数据格式，用FlatBuffers取而代之了。阅读这篇文章可以获得关于FlatBuffers的基础知识，学会如何从JSON转换到FlatBuffers。

虽然这东西是非常有前景的，但是乍一看其实现过程不是一下子就能明白的。而且Facebook也没有说得很详细。这就是为什么我要写这篇文章，在其中展示我们是如何使用Flatbuffers开展工作的。

FlatBuffers

总之，FlatBuffers是Google专门为游戏开发而创建的跨平台序列化库，就像Facebook所展示的那样，它在Android平台上遵循快速响应UI的16ms规则。

但是，在把所有数据迁移到FlatBuffers之前，你要确定确实需要这样做。因为，这样做有时对性能的影响是潜移默化的，而且数据安全性要比计算速度上几十毫秒的差异更重要。

什么使得Flatbuffers如此奏效？

由于是以二进制形式缓存，访问序列化数据时也无需数据解析过程。即使对于层次化数据也不需要解析。多亏不需要初始化解析器（初始化意味着要建立复杂的字段映射）和解析数据，这些都是需要花费时间的。
Flatbuffers数据不需要分配比自身使用缓冲区还要多的内存。我们不必像在JSON中那样为解析数据的整个层次分配额外对象。

要获得正宗的数据，就再读一读Facebook上关于FlatBuffers迁移问题的文章，还有Google自己的文档。

实现

本文将介绍在Android应用程序中使用Flatbuffers的最简单方法：

JSON数据在应用程序之外的某个地方被转换成FlatBuffer格式的文件（例如，将二进制数据以文件的形式提交，还可以从API直接返回FlatBuffer二进制文件）。
在flatc (FlatBuffer编译器)的帮助下，手工生成数据模型（Java类）。
JSON文件存在一定的局限性（不能使用null字段，日期格式也被解析为字符串）。

将来，我们或许会提出更复杂的解决方案。

FlatBuffers编译器

首先，我们需要flatc，即flatbuffers编译器。该编译器可以从Google所属的源代码构建，源代码位于Flatbuffers资源库中。我们下载并克隆它。整个构建过程在FlatBuffers构建文档中都做了描述。如果你是Mac用户的话，需要这样来构建：

1.在\{extract directory}\build\XcodeFlatBuffers.xcodeproj路径下，打开已下载的源代码。
2.点击Play按钮或⌘ + R，运行flatc scheme（默认情况下应该是被选中的）。
3.flatc可执行文件就会在项目的根目录下出现。
现在，我们可以使用schema编译器了，该编译器能够把给定的schema（在Java、C#、Python、GO和C++语言中的schema）生成为模型类，还可以把JSON转换成Flatbuffer的二进制文件。

Schema文件

接着，我们必须准备schema文件，该文件定义了要进行序列化和反序列化的数据结构。这个schema将用于flatc创建Java模型，把JSON转换成FlatBuffers的二进制文件。

这里是JSON文件的一部分。

完整版本在这里。这是略微修改后的版本，可以从Github API调用：https://api.github.com/users/google/repos 。

Flatbuffer schema是编写得很好的文档，所以就不深入探讨这个问题了。另外，本文中的schema不会很复杂。我们所要做的仅仅是创建3张表：ReposList, Repo和User，并定义root_type。这是schema的重要组成部分。

完整的schema文件在这里。

FlatBuffers数据文件

真棒，我们现在要做的是把repos_json.json转换成FlatBuffers二进制文件，生成能够以Java风格表示数据的Java模型（此处操作所需的全部文件都在我们的代码库中）：

$ ./flatc -j -b repos_schema.fbs repos_json.json

如果一切顺利，会产生下列文件：

repos_json.bin（要将重命名它为 repos_flat.bin）
Repos/Repo.java
Repos/ReposList.java
Repos/User.java

Android应用程序
现在来创建示例程序，在实践中来看看Flatbuffers格式是如何起作用的。这是截图：

在UI部分，ProgressBar仅用于显示不恰当的数据处理对用户界面顺畅度的影响。

应用文件看起来是这个样子：app/build.gradle

当然，在本例中不是必须要用Rx或ButterKnife这样的视图注入利器，但是为什么不让应用更细致一些呢？？

我们把repos_flat.bin 和 repos_json.json文件放到res/raw/目录下。RawDataReader是工具类，它帮助我们读取Android应用中的原始文件。

最后，把Repo，ReposList和User这三张表对应的模型类代码放到项目源代码中。

FlatBuffers库

使用Java语言编程过程中，FlatBuffers提供了可以直接处理这种数据格式的库，也这是flatbuffers-java-1.2.0-SNAPSHOT.jar文件。如果你想手工生成该文件，需要下载FlatBuffers源代码，再到目录java/下，用Maven生成该库：

$ mvn install

现在将.jar文件放到Android项目的app/libs/目录下。

好了，当务之急是实现MainActivity类，这是完整源代码。

我们最为关注的两个方法是：

parseReposListJson(String reposStr) - 这个方法初始化Gson解析器，并把JSON字符串转换成Java对象。
loadFlatBuffer(byte[] bytes) - 这个方法将字节（repos_flat.bin文件）转换成Java对象。

使用FlatBuffers的结果

现在让我们把JSON和FlatBuffers在加载时间和资源消耗方面的差异形象化。测试是在带有Android M（beta版）的Nexus 5上进行的。

使用FlatBuffers的结果

现在让我们把JSON和FlatBuffers在加载时间和资源消耗方面的差异形象化。测试是在带有Android M（beta版）的Nexus 5上进行的。

加载时间

测量的过程是将其他文件转换为Java源文件，对所有（90个）元素进行迭代。

使用JSON：JSON文件（大小：478kB）平均加载时间200ms（时间区间：180ms～250ms）；
使用FlatBuffers：FlatBuffers二进制文件（大小：352kB）平均加载时间5ms（时间区间：3ms～10ms）。

记得16ms规则吗？我们在UI线程中调用这些方法的原因就是要看看在这种情况下界面表现如何：

JSON数据加载效果：

FlatBuffers数据加载效果：

看出区别了吗？JSON数据的加载过程中， ProgressBar停顿了一会，界面不是那么顺畅（加载时间超过了16ms）。

内存分配、CPU等资源

还有什么想要测量的吗？也许应该测量一下Android Studio 1.3，还有那些新特性。例如，内存分配跟踪器（Allocation Tracker），内存状态查看器（Memory Viewer）和方法跟踪器（Method Tracer）。

源代码

这里所讲解项目的完整源代码都在Github代码库中。你不需要接触整个FlatBuffers项目，所需的内容全都在flatbuffers/目录下。（翻译/张挥戈友情审校/白云鹏）

文章来源：froger_mcs dev blog

作者简介：

Miroslaw Stanek，Azimo Money Transfer公司移动项目负责人，Android和iOS平台程序员，视频游戏玩家，冰雪运动爱好者。个人博客：http://frogermcs.github.io。

译者简介：

张挥戈，长期从事计算机软件开发、项目管理和产品设计工作，曾在多家移动互联网公司任技术总监。关注Android平台相关技术以及其他平台客户端软件开发相关话题。

查看图片附件

来自: CSDN

分享到：

1
顶

0
踩

评论共 1 条请登录后发表评论

1 楼 abc-127 2015-09-08 10:49

好像都没有什么例子 baidu半天都是介绍 java 后台怎么用？

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

FlatBuffers:高效内存序列化库-开源

FlatBuffers是一个开放源代码，跨平台的序列化库，旨在最大程度地提高内存效率。 FlatBuffers最初由Google创建，用于游戏开发和其他对性能有严格要求的应用程序，它具有独特的功能，可让您直接访问序列化数据，而...

Google高效开源跨平台序列化库FlatBuffers 1.1发布

经过几个月开发，FlatBuffers 1.1版本更新。这次的更新包含：对Java API进行了广泛的检修 out-of-the-box支持C#和Go 一个可选的校对器，使FlatBuffers在不可信的情况下变得实用原型解析更容易从协议缓冲区迁移 ...

Google高效开源跨平台序列化库FlatBuffers 1.1新特性

FlatBuffers相对ProtocolBuffer的优势是：无需反序列化，但代价是encode之后的体积相对ProtocolBuffer更大原文：http://geek.csdn.net/news/detail/29744 经过几个月开发，FlatBuffers 1.1版本更新。这次的...

谷歌开源高效、跨平台的序列化库FlatBuffers

近日，谷歌“Fun Propulsion Labs”团队开源了FlatBuffers。该库的构建是专门为游戏开发人员的性能需求提供支持，它将序列化数据存储在缓存中，这些数据既可以存储在文件中，又可以通过网络原样传输，而不需要任何...

Google FlatBuffers——开源、跨平台的新一代序列化工具

前段时间刚试用了一个序列化工具cereal，请看 cereal:C++实现的开源序列化库，打算再总结下我对google proto buf序列化库的使用呢，结果还没动手，大Google又出...FlatBuffers是一个开源的、跨平台的、高效的、提供

深入浅出FlatBuffers原理

简介：FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写，并由 Google 开源。本文将基于高德地图...

C++跨平台开源库之二

开源、免费，不依赖第三方库，支持跨平台。 http://www.cs.wustl.edu/~schmidt/ACE.html (2)Asio Asio基于Boost开发的异步IO库，封装了Socket，简化基于socket程序的开发。开源、免费，支持跨平台。 ...

FlatBuffers学习

FlatBuffers学习 1.为什么使用FlatBuffers 使用FlatBuffers的原因很简单，那就是简单、效率高和便利。为了传输数据，我们做了不少努力，研制出不少编解码方法，如：BER、PER、JSON、BSON、XML、HTML等。然而，...

fastFFI 官宣开源，一款高效的 Java 跨语言通信框架

fastFFI 是一个现代高效的 FFI 框架，其开发初衷是提高不同语言之间相互通信的易用性与性能，目前的实现主要是针对 Java 访问 C++ 代码和数据。不同程序设计语言擅长解决不同的问题，因此跨语言调用的需求在现代软件...

TFLite: flatbuffers

FlatBuffers 是一个序列化开源库，实现了与 Protocol Buffers，Thrift，Apache Avro，SBE 和 Cap'n Proto 类似的序列化格式，主要由 Wouter van Oortmerssen 编写，并由 Google 开源。Oortmerssen 最初为 Android ...

开源巨献：Google最热门60款开源项目

本文为大家整理了 Google 开源的热门项目，排名顺序按照 Github ★Star 数排列。 0、机器学习系统 TensorFlow ★Star 62533 TensorFlow 是谷歌的第二代机器学习系统，按照谷歌所说，在某些基准测试中，...

深入浅出 FlatBuffers 原理

FlatBuffers 是一个开源的、跨平台的、高效的、提供了多种语言接口的序列化工具库。实现了与 Protocal Buffers 类似的序列化格式。主要由 Wouter van Oortmerssen 编写，并由 Google 开源。Oortmerssen 最初为 ...

人力资源经理绩效考核表.xls

人力资源经理绩效考核表

智慧环卫管理平台建设方案Word(211页).docx

一、智慧环卫管理平台的建设背景与目标智慧环卫管理平台的建设源于对环卫管理全面升级的需求。当前，城管局已拥有139辆配备车载GPS系统、摄像头和油耗传感器的环卫车辆，但环卫人员尚未配备智能移动终端，公厕也缺乏信息化系统和智能终端设备。为了提升环卫作业效率、实现精细化管理并节省开支，智慧环卫管理平台应运而生。该平台旨在通过信息化技术和软硬件设备，如车载智能终端和环卫手机App，实时了解环卫人员、车辆的工作状态、信息和历史记录，使环卫作业管理透明化、精细化。同时，平台还期望通过数据模型搭建和数据研读，实现更合理的环卫动态资源配置，为环卫工作的科学、健康、持续发展提供决策支持。二、智慧环卫管理平台的建设内容与功能智慧环卫管理平台的建设内容包括运行机制体制建设、业务流程设计、智慧公厕系统建设、网络建设、主机和储存平台需求、平台运维管理体系、硬件标准规范体系以及考核评价体系等多个方面。其中，智慧公厕系统建设尤为关键，它能实时监控公厕运行状态，保障公厕的清洁和正常运行。平台建设还充分利用了现有的电子政务网络资源，并考虑了有线和无线网络的需求。在功能上，平台通过普查、整合等手段全面收集环卫车辆、企业、人员、设施、设备等数据，建立智慧环卫基础数据库。利用智能传感、卫星定位等技术实现环卫作业的在线监管和远程监控，实现对道路、公共场所等的作业状况和卫生状况的全面监管。此外，平台还建立了环卫作业网格化管理责任机制，实现从作业过程到结果的全面监管，科学评价区域、部门、单位和人员的作业效果。三、智慧环卫管理平台的效益与风险规避智慧环卫管理平台的建设将带来显著的环境、经济和管理效益。环境方面，它将有力推进环境卫生监管服务工作，改善环境卫生状况，为人民群众创造更加清洁、卫生的工作和生活环境。经济方面，通过智慧化监管，大大降低了传统管理手段的成本，提高了监管的准确性和效率。管理方面，平台能够追踪溯源市民反映的问题，如公厕异味、渣土车辆抛洒等，并找到相应的责任单位进行处置，防止类似事件再次发生。同时，平台还拥有强大的预警机制功能，能够在很多环卫问题尚未出现前进行处置。然而，平台建设也面临一定的风险，如部门协调、配合问题，建设单位选择风险以及不可预测的自然灾害等。为了规避这些风险，需要加强领导、统一思想，选择优秀的系统集成商承接项目建设，并做好计算机和应用系统的培训工作。同时，也要注意标准制定工作和相关法律法规的制定工作，以保证系统建设完成后能够真正为环卫管理工作带来便利。

apache-parent-10-14.el7.x64-86.rpm.tar.gz

1、文件内容：apache-parent-10-14.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/apache-parent-10-14.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、安装指导：私信博主，全程指导安装

用于卫星通信的CTS天线

用于卫星通信的圆极化CTS天线研究

人事档案登记及查询系统.xlsx

人事档案登记及查询系统

12 -防损部经理绩效考核表1.xlsx

12 -防损部经理绩效考核表1

泰尔指数模型stata全流程代码+数据+文献(数据权威)

## 一、泰尔指数模型stata全流程代码+数据+文献参考C刊《农业经济问题》朱红根（2023）老师的做法，用泰尔指数是衡量个人或地区之间收入差距的重要指标，本文利用泰尔指数分析中国区域内和区域间数字乡村发展水平的差异，测算了全国总体差异、区域内差异、区域间差异以及相关贡献率。此资料包括stata全流程代码、案例数据、参考文献，用excel计算有标注有过程，并且参照文献讲的。 ## 二、2005-2021年城乡收入差距与泰尔指数：原始数据+测算结果泰尔熵标准(Theil’s entropy measure)或者泰尔指数（Theil index）是衡量个人之间或者地区间收入差距（或者称不平等度）的指标。又称泰尔系数或锡尔指数，但我还是习惯叫泰尔指数。Theil指数用来表示区域经济差异状况，数值越大则差异程度越大。数据名称：城乡收入差距与泰尔指数（原始数据+测算）数据年份：2005-2021年指标变量：泰尔指数、城镇收入占农村收入之比、城镇居民人均可支配收入、农村居民人均可支配收入、乡村人口、全体居民人均可支配收入、城镇人口、年末常住人口测算公式：

1顶0踩