博客首页 → Avro

最新文章列表

Schema Registry

https://docs.confluent.io/current/schema-registry/docs/index.html#   什么是Schema Registry?    Schema Registry 主要用于管理Avro的Schema. Schema不断的演变，Schema Registry可以把它的版本变化管理起来。同时它提供了一个Restful API接口，你可以通过这 ...
AvroSchema RegistryKafka 
tomboxfan 评论(0) 有1220人浏览 2018-09-10 12:40

spark -外部数据源

1.在Spark1.2中提供了External DataSource API，开发者可以根据接口来实现自己的外部数据源，如avro, csv, json, parquet等等。   （1）spark自带的外部数据源  （2）其他开发者贡献的 https://spark-packages.org/   以avro为例，点击homepage，跳转到github网址：https://gi ...
外部数据源avro 
功夫小当家 评论(0) 有1241人浏览 2018-04-07 18:47

Avro RPC 对比测试

J2EE平台常采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互（业务节点和资源节点之间），服务端和客户端需要交互（终端客户端需要调用服务端的远程服务，客户端有C实现的，也有Java等其他语言实现的）。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件。 RPC服务组件的要求：1. 稳定，高性能；作为一个基础性的骨架组件，高可用性和高性能是必备的；传输层希望是面向连接的T ...
AvroRPC对比测试 
aoyouzi 评论(0) 有1275人浏览 2016-04-19 19:46

RPC框架之Apache Avro 简介

 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的 ...
RPCApacheAvro简介 
aoyouzi 评论(0) 有6772人浏览 2016-04-19 19:45

跨语言通信方案的比较—Thrift、Protobuf和Avro

thrift由facebook出品，protobuffer由google出品； 下面对比一下这两个的区别。参考：http://zhidao.baidu.com/link?url=yNLBeHhWokfwB677UZHoyv4vLyPOZEEQypUMiX__YIhp5E7UmpvIWTArKPMab32xj5gkRo4a6CXoZ1nxore82kXyOzfXdaRRhOAPynxYmB7 1 ...
跨语言通信方案ThriftProtobufAvro 
aoyouzi 评论(0) 有9781人浏览 2016-04-03 21:43

征服flume之三——使用log4j输出日志到flume

接下来的几篇文章，我们将逐步学习使用各种方式对日志进行采集。 本文讲述的是如何使用log4j直接输出日志到flume。 先上干货，再讲理论！ 1、flume配置文件 agent.sources = so1 agent.channels = c1 agent.sinks = s1 # For each one of the sources, the type is defined ...
flumelog4javrosink 
cpjsjxy 评论(1) 有5209人浏览 2016-02-24 15:00

Thrift、protocolbuffer、avro这几种序列化之间的比较

一.概述         thrift和avro都提供rpc服务和序列化，而protocol buffer只是提供序列化功能。         thrift是一个跨语言的轻量级RPC消息和数据交换框架 ...
Thriftprotocolbufferavro 
bijian1013 评论(0) 有8295人浏览 2015-08-02 23:00

Java跨语言实现数据传递方案

一.背景         在大型分布式 java 应用中，为了方便开发者，通常底层的 rpc 框架都会做一些调用的封装，让应用层开发人员在开发服务的时候只用编写简单的 pojo 对象就可以了，如流行的 spring remoting ， jboss remoting 等等，都有这样的效果。           随着业务的需要，可能上层应用希望采用非 java 技术，如 php ， ruby o ...
protocol buffersthriftavro 
bijian1013 评论(0) 有1036人浏览 2015-08-02 22:45

serialization-Avro

感受最快的序列化和反序列化工具：Avro 参考阅读： http://tech.meituan.com/serialization_vs_deserialization.html 官网： http://avro.apache.org/docs/current/gettingstartedjava.html#Creating+users 代码结构图： pmo 引入： <dependency ...
avro序列化 
王新春 评论(0) 有1196人浏览 2015-05-26 16:10

二进制序列化格式对比

二进制序列化格式 序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程。在大多数情况下，二进制序列化格式是不可读的，但它可以有效地压缩数据，这是对于缓存，进程间通信，消息代理等非常有用，选择好的二进制序列化格式对开发任务来说非常重要，可用于分布式系统间的通信和存储。让我们来看看这些格式的区别。BSONBSON（Binary Serialized Documen ...
avrojsonbsonthriftmessagepack 
michael_roshen 评论(0) 有1060人浏览 2015-04-13 13:28

RPC调用框架比较分析

什么是RPC： RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。 简言之，RPC使得程序能够像访问本地系统资源一样，去访问远端系统资源。 比较关键的一些方面包括，通讯协议，序列化，资源（接口）描述，服务框架，性能，语言支持等。 典型RPC调用框架： RPC的实现和调用框架，五花八 ...
RPCprotobuf-rpcthriftavro 
pzx888 评论(0) 有3438人浏览 2015-01-19 13:06

网络通信中间件

ZeroC Ice http://www.zeroc.com/ The Internet Communications Engine (Ice) is a modern distributed computing platform with support for C++, .NET, Java, Python, Objective-C, Ruby, PHP, and ActionScrip ...
IceThriftprotobufavro 
Jameslyy 评论(0) 有1437人浏览 2013-10-24 00:34

[实验]avro与non-avro的mapred例子-wordcount改写

avro非常适合用于hadoop。在开发的时候可能有这样的场景，输入的文件是non-avro的，输出的文件是avro的。这样就需要一个是非avro的mapper和一个avro的reducer。下面通过改写wordcount例子演示这个过程。 Mapper public class WordCountMapper extends MapReduceBase implements Mapper ...
hadoopavro 
GQM 评论(0) 有1046人浏览 2013-09-03 16:15

[笔记]avro 介绍及官网例子

Apache Avro是一个独立于编程语言的数据序列化系统。旨在解决Hadoop中Writable类型的不足：缺乏语言的可移植性。其强调数据的自我描述，依赖于它的schema。即支持动态加载schema，动态映射；也支持代码生成的描述性映射。 官网的介绍： 引用Apache Avro™ is a data serialization system. Avro provides: Rich data ...
hadoopavro 
GQM 评论(0) 有3890人浏览 2013-09-02 14:22

轻量级开源RPC框架——avro-rpc性能测试

1：介绍 avro-rpc是一个支持多序列化方式的RPC框架，目前支持Avro，Protocol Buffers ，Json，Hessian，Java序列化方式。网络传输层使用Netty的NIO实现，协议层可扩展，用户可以自定义协议格式及注册新的序列化方式。 基本特点         1：跨语言，可作为跨语言系统之间的分布式服务框架。         2：简洁高效易扩展，代价简洁 ...
RPCAvroProtocol BuffersJsonHessian 
taohuifei 评论(0) 有2594人浏览 2012-10-11 16:26

avro-rpc一个轻量级的开源的RPC框架，支持序列化方式有Avro，Json，Hessian，Java

avro-rpc   http://code.google.com/p/avro-rpc/1．开发背景 公司的运营管理平台建立在J2EE平台之上，采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互（业务节点和资源节点之间），服务端和客户端需要交互（终端客户端需要调用服务端的远程服务，客户端有C实现的，也有Java等其他语言实现的）。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组 ...
RPCAvroJsonHessianJava 
taohuifei 评论(0) 有10639人浏览 2012-09-25 17:04

五个最给力的Hadoop项目

  1.Cascading：Cascading是基于Hadoop集群之上的数据处理API。它通过实现了丰富的功能化API，使你不需要接触MapReduce任务就能使用分布式计算能力，其核心概念是基于管道和流的数据处理。 2.Mahout：Mahout是一个基于Hadoop实现各种机器学习与数据挖掘算法库。被用来提供推荐服务。 3.Hive：Hive由Facebook出品，它为Hadoop提供 ...
CascadingMahoutHadoopHiveAvro 
yaweidai 评论(0) 有1360人浏览 2012-04-10 11:26

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics