`
sealbird
  • 浏览: 583867 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Avro总结(RPC/序列化)

阅读更多
  Avro(读音类似于[ævrə])是Hadoop的一个子项目,由Hadoop的创始人Doug Cutting(也是Lucene,Nutch等项目的创始人,膜拜)牵头开发,当前最新版本1.3.3。Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。

     当前市场上有很多类似的序列化系统,如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好,完全可以满足普通应用的需求。针对重复开发的疑惑,Doug Cutting撰文解释道:Hadoop现存的RPC系统遇到一些问题,如性能瓶颈(当前采用IPC系统,它使用Java自带的DataOutputStream和DataInputStream);需要服务器端和客户端必须运行相同版本的Hadoop;只能使用Java开发等。但现存的这些序列化系统自身也有毛病,以Protocol Buffers为例,它需要用户先定义数据结构,然后根据这个数据结构生成代码,再组装数据。如果需要操作多个数据源的数据集,那么需要定义多套数据结构并重复执行多次上面的流程,这样就不能对任意数据集做统一处理。其次,对于Hadoop中Hive和Pig这样的脚本系统来说,使用代码生成是不合理的。并且Protocol Buffers在序列化时考虑到数据定义与数据可能不完全匹配,在数据中添加注解,这会让数据变得庞大并拖慢处理速度。其它序列化系统有如Protocol Buffers类似的问题。所以为了Hadoop的前途考虑,Doug Cutting主导开发一套全新的序列化系统,这就是Avro,于09年加入Hadoop项目族中。

     上面通过与Protocol Buffers的对比,大致清楚了Avro的特长。下面着重关注Avro的细节部分。

     Avro依赖模式(Schema)来实现数据结构定义。可以把模式理解为Java的类,它定义每个实例的结构,可以包含哪些属性。可以根据类来产生任意多个实例对象。对实例序列化操作时必须需要知道它的基本结构,也就需要参考类的信息。这里,根据模式产生的Avro对象类似于类的实例对象。每次序列化/反序列化时都需要知道模式的具体结构。所以,在Avro可用的一些场景下,如文件存储或是网络通信,都需要模式与数据同时存在。Avro数据以模式来读和写(文件或是网络),并且写入的数据都不需要加入其它标识,这样序列化时速度快且结果内容少。由于程序可以直接根据模式来处理数据,所以Avro更适合于脚本语言的发挥。

     Avro的模式主要由JSON对象来表示,它可能会有一些特定的属性,用来描述某种类型(Type)的不同形式。Avro支持八种基本类型(Primitive Type)和六种混合类型(Complex Type)。基本类型可以由JSON字符串来表示。每种不同的混合类型有不同的属性(Attribute)来定义,有些属性是必须的,有些是可选的,如果需要的话,可以用JSON数组来存放多个JSON对象定义。在这几种Avro定义的类型的支持下,可以由用户来创造出丰富的数据结构来,支持用户纷繁复杂的数据。

     Avro支持两种序列化编码方式:二进制编码和JSON编码。使用二进制编码会高效序列化,并且序列化后得到的结果会比较小;而JSON一般用于调试系统或是基于WEB的应用。对Avro数据序列化/反序列化时都需要对模式以深度优先(Depth-First),从左到右(Left-to-Right)的遍历顺序来执行。基本类型的序列化容易解决,混合类型的序列化会有很多不同规则。对于基本类型和混合类型的二进制编码在文档中规定,按照模式的解析顺序依次排列字节。对于JSON编码,联合类型(Union Type)就与其它混合类型表现不一致。

     Avro为了便于MapReduce的处理定义了一种容器文件格式(Container File Format)。这样的文件中只能有一种模式,所有需要存入这个文件的对象都需要按照这种模式以二进制编码的形式写入。对象在文件中以块(Block)来组织,并且这些对象都是可以被压缩的。块和块之间会存在同步标记符(Synchronization Marker),以便MapReduce方便地切割文件用于处理。下图是根据文档描述画出的文件结构图:

     上图已经对各块做肢解操作,但还是有必要再详细说明下。一个存储文件由两部分组成:头信息(Header)和数据块(Data Block)。而头信息又由三部分构成:四个字节的前缀(类似于Magic Number),文件Meta-data信息和随机生成的16字节同步标记符。这里的Meta-data信息让人有些疑惑,它除了文件的模式外,还能包含什么。文档中指出当前Avro认定的就两个Meta-data:schema和codec。这里的codec表示对后面的文件数据块(File Data Block)采用何种压缩方式。Avro的实现都需要支持下面两种压缩方式:null(不压缩)和deflate(使用Deflate算法压缩数据块)。除了文档中认定的两种Meta-data,用户还可以自定义适用于自己的Meta-data。这里用long型来表示有多少个Meta-data数据对,也是让用户在实际应用中可以定义足够的Meta-data信息。对于每对Meta-data信息,都有一个string型的key(需要以“avro.”为前缀)和二进制编码后的value。对于文件中头信息之后的每个数据块,有这样的结构:一个long值记录当前块有多少个对象,一个long值用于记录当前块经过压缩后的字节数,真正的序列化对象和16字节长度的同步标记符。由于对象可以组织成不同的块,使用时就可以不经过反序列化而对某个数据块进行操作。还可以由数据块数,对象数和同步标记符来定位损坏的块以确保数据完整性。
  
     上面是将Avro对象序列化到文件的操作。与之相应的,Avro也被作为一种RPC框架来使用。客户端希望同服务器端交互时,就需要交换双方通信的协议,它类似于模式,需要双方来定义,在Avro中被称为消息(Message)。通信双方都必须保持这种协议,以便于解析从对方发送过来的数据,这也就是传说中的握手阶段。
 
     消息从客户端发送到服务器端需要经过传输层(Transport Layer),它发送消息并接收服务器端的响应。到达传输层的数据就是二进制数据。通常以HTTP作为传输模型,数据以POST方式发送到对方去。在Avro中,它的消息被封装成为一组缓冲区(Buffer),类似于下图的模型:

      

     如上图,每个缓冲区以四个字节开头,中间是多个字节的缓冲数据,最后以一个空缓冲区结尾。这种机制的好处在于,发送端在发送数据时可以很方便地组装不同数据源的数据,接收方也可以将数据存入不同的存储区。还有,当往缓冲区中写数据时,大对象可以独占一个缓冲区,而不是与其它小对象混合存放,便于接收方方便地读取大对象。

     下面聊下Avro的其它方面信息。前文中引述Doug Cutting的话说,Protocol Buffer在传输数据时,往数据中加入注释(annotation),以应对数据结构与数据不匹配的问题。但直接导致数据量变大,解析困难等缺点。那Avro是如何应对模式与数据的不同呢?为了保证Avro的高效,假定模式至少大部分是匹配的,然后定义一些验证规则,如果在规则满足的前提下,做数据验证。如果模式不匹配就会报错。相同模式,交互数据时,如果数据中缺少某个域(field),用规范中的默认值设置;如果数据中多了些与模式不匹配的数据。则忽视这些值。

     Avro列出的优点中还有一项是:可排序的。就是说,一种语言支持的Avro程序在序列化数据后,可由其它语言的Avro程序对未反序列化的数据排序。我不知道这种机制是在什么样的场景下使用,但看起来还是挺不错的。

     当前关于Avro的资料挺少的,上面的文章也是我由官方文档和作者的文章来总结的。我相信其中肯定有很多错误,或许有些方面根本就理解错了。现在放出这篇总结,便于不断修订和补充,也是对这两天学习成果的分享,希望对想了解Avro的人有些许帮助,更希望大家指证我理解错误的地方,利于提高。




   其它资料:
   Avro规范:http://avro.apache.org/docs/current/spec.html
   Doug Cutting文章:http://www.cloudera.com/blog/2009/11/avro-a-new-format-for-data-interchange/
   各序列化系统性能比较:http://wiki.github.com/eishay/jvm-serializers/
分享到:
评论

相关推荐

    avro-rpc程序示例

    Avro RPC结合了Avro的数据序列化能力与Netty的高性能网络通信,提供了一种高效、可靠的服务间通信方式。"avro-rpc-quickstart-master"示例项目为开发者提供了学习和实践Avro RPC的起点,通过运行和分析代码,可以...

    Apache Avro RPC简单示例

    总结来说,Apache Avro RPC提供了一种高效、跨平台的远程调用方式,通过清晰的数据模式定义和自动的序列化/反序列化处理,简化了多语言环境下的服务通信。通过`avro-rpc-quickstart-master`项目,我们可以亲身体验...

    Avro数据序列化系统(1)

    Avro是Apache Hadoop项目的一部分,它是一种高效的数据序列化系统,被广泛应用于大数据处理和分布式计算领域。作为Hadoop开发基础知识的重要组成部分,理解并掌握Avro对于开发高效率、可扩展的分布式应用至关重要。 ...

    Avro 1.8.2 序列化规范

    Avro 1.8.2版本为Hadoop新型序列化框架规范定义了相关细节,提供了标准化的序列化和反序列化机制,可以用于远程过程调用(RPC)和持久化数据的存储。 ### 标题和描述知识点 标题“Avro 1.8.2 序列化规范”直接指出了...

    protobuf/thrift/avro-序列化性能测试工程

    protobuf(Protocol Buffers)、thrift和avro是三种广泛使用的序列化框架,它们在分布式系统、网络通信以及数据存储中扮演着重要角色。这个名为"protobuf/thrift/avro-序列化性能测试工程"的项目专注于对比这三种...

    avro-rpc-demo:avro rpc的演示代码

    第一个是官方网站的快速入门演示,它是数据序列化和反序列化的两种实现,分别称为SpecificMain,GenericMain; 第二个是特定样式的接口调用,名为MailMain *; 最后一个是通用样式接口调用,包括HTTP /和netty模式...

    avro-rpc-quickstart:Apache Avro RPC快速入门

    来自:“ Avro是数据序列化系统” Avro提供: 丰富的数据结构。 一种紧凑,快速的二进制数据格式。 容器文件,用于存储持久性数据。 远程过程调用(RPC)。 与动态语言的简单集成。 读取或写入数据文件,使用或实现...

    Java读写avro所需jar

    1. **Avro-1.7.7.jar**:这是Avro的核心库,包含了一系列的API和实现,使得Java开发者能够创建、序列化和反序列化Avro数据。这个库提供了以下主要功能: - **数据模型**:Avro定义了一种强类型的数据模型,包括基本...

    apache avro 简介

    Avro不仅仅用于数据序列化,它还提供了一种远程过程调用(RPC)机制。通过Avro的RPC框架,服务端和客户端可以使用相同的schema进行通信,确保数据的正确交换。 ### Avro与Hadoop的关系 在Hadoop生态系统中,Avro...

    Hadoop序列化机制

    4. Thrift:Thrift是由Facebook开发的另一个跨语言的序列化和RPC框架。它允许定义服务接口和数据结构,然后生成不同语言的客户端和服务器端代码。Thrift在Hadoop中常用于构建高效的分布式服务。 5. Kryo:Kryo是一...

    HelloAvro:一个示例应用程序,展示了如何使用很棒的Apache Avro序列化程序

    一个示例应用程序,展示了如何使用出色的Apache Avro序列化程序以及实际使用的Avro RPC。 Avro RPC使用下面的Avro序列化器,但也允许客户端方法快速便捷地执行RPC等服务器方法。 RPC参数作为Avro序列化对象通过网络...

    RPC学习文档

    Avro在RPC中主要负责数据的序列化与反序列化,确保跨平台的数据一致性。 #### 三、Avro Complex.avpr文件编写与编译 1. **编写Avro Complex.avpr文件** - **文件内容**: 该文件通常定义了RPC接口及相关的数据类型...

    js序列化架构师必懂的——七种序列化机制及技术选型.docx

    6. **Avro**:Avro是Apache Hadoop项目的一部分,提供JSON和Binary两种序列化格式。Binary格式在性能和空间上接近Protobuf,且具有自我描述属性,提高了数据解析速度。Avro适用于需要高效、可压缩数据交换的场景。 ...

    avro-in-action:RPC与Apache Avro示例

    Apache Avro是Hadoop生态系统中的一个关键组件,它主要用于数据序列化和远程过程调用(RPC)。这个"avro-in-action: RPC与Apache Avro示例"项目显然旨在帮助开发者理解如何在实际应用中利用Avro进行高效的数据交互。...

    利用AVRO定义avdl文件示例

    AVRO是一种跨语言的序列化框架,用于实现数据序列化以及远程过程调用(RPC)。它是Apache软件基金会旗下的一个项目。AVRO提供了丰富的数据结构类型、快速序列化以及支持动态类型语言和静态类型语言。 数据定义语言...

    快速序列化框架

    本文将对五种常见的快速序列化框架——Google Protobuf、Apache Thrift、Hessian、Avro 和 Kryo 进行详细介绍,并对其性能进行比较。 #### 二、各框架详解 ##### 1. Google Protobuf - **简介**:由Google开发并...

    序列化与反序列化的通俗解释及主要序列化的方法介绍

    在选择序列化方法时,需要考虑性能、数据量、语言兼容性、调试难度以及是否需要完整的RPC解决方案等因素。例如,对于需要快速响应的服务,Protobuf、Thrift和Avro可能是更好的选择。而如果涉及到Hadoop生态系统,...

    serialization-Avro

    通过阅读博客,你可以学习如何创建Avro Schema,如何使用Avro工具生成Java类,以及如何在实际应用中使用这些类进行数据序列化和反序列化。同时,理解Avro如何在分布式系统中作为数据交换的桥梁,以及它如何与Hadoop...

    thrift和avro研究资料1

    Thrift和Avro是两种广泛使用的数据序列化和远程过程调用(RPC)框架,它们在分布式系统中扮演着重要角色。本文将详细介绍这两种技术及其关键特性。 首先,让我们了解Thrift。Thrift是由Facebook开发的一种跨语言的...

    手写RPC框架1

    此外,还有其他序列化框架,如Hessian(Caucho公司开发)、FST(Fast Serialization Toolkit)和Avro,它们各有优缺点,适用于不同的应用场景。 动态代理在RPC中扮演着关键角色,它使得客户端可以像调用本地方法...

Global site tag (gtag.js) - Google Analytics