最新文章列表

Schema Registry

https://docs.confluent.io/current/schema-registry/docs/index.html#   什么是Schema Registry?    Schema Registry 主要用于管理Avro的Schema. Schema不断的演变,Schema Registry可以把它的版本变化管理起来。同时它提供了一个Restful API接口,你可以通过这 ...
tomboxfan 评论(0) 有1216人浏览 2018-09-10 12:40

spark -外部数据源

1.在Spark1.2中提供了External DataSource API,开发者可以根据接口来实现自己的外部数据源,如avro, csv, json, parquet等等。   (1)spark自带的外部数据源  (2)其他开发者贡献的 https://spark-packages.org/   以avro为例,点击homepage,跳转到github网址:https://gi ...
功夫小当家 评论(0) 有1239人浏览 2018-04-07 18:47

Avro RPC 对比测试

J2EE平台常采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互(业务节点和资源节点之间),服务端和客户端需要交互(终端客户端需要调用服务端的远程服务,客户端有C实现的,也有Java等其他语言实现的)。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组件。 RPC服务组件的要求:1. 稳定,高性能;作为一个基础性的骨架组件,高可用性和高性能是必备的;传输层希望是面向连接的T ...
aoyouzi 评论(0) 有1271人浏览 2016-04-19 19:46

RPC框架之Apache Avro 简介

 Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的 ...
aoyouzi 评论(0) 有6764人浏览 2016-04-19 19:45

跨语言通信方案的比较—Thrift、Protobuf和Avro

thrift由facebook出品,protobuffer由google出品; 下面对比一下这两个的区别。参考:http://zhidao.baidu.com/link?url=yNLBeHhWokfwB677UZHoyv4vLyPOZEEQypUMiX__YIhp5E7UmpvIWTArKPMab32xj5gkRo4a6CXoZ1nxore82kXyOzfXdaRRhOAPynxYmB7 1 ...
aoyouzi 评论(0) 有9776人浏览 2016-04-03 21:43

征服flume之三——使用log4j输出日志到flume

接下来的几篇文章,我们将逐步学习使用各种方式对日志进行采集。 本文讲述的是如何使用log4j直接输出日志到flume。 先上干货,再讲理论! 1、flume配置文件 agent.sources = so1 agent.channels = c1 agent.sinks = s1 # For each one of the sources, the type is defined ...
cpjsjxy 评论(1) 有5199人浏览 2016-02-24 15:00

Thrift、protocolbuffer、avro这几种序列化之间的比较

一.概述         thrift和avro都提供rpc服务和序列化,而protocol buffer只是提供序列化功能。         thrift是一个跨语言的轻量级RPC消息和数据交换框架 ...
bijian1013 评论(0) 有8285人浏览 2015-08-02 23:00

Java跨语言实现数据传递方案

一.背景         在大型分布式 java 应用中,为了方便开发者,通常底层的 rpc 框架都会做一些调用的封装,让应用层开发人员在开发服务的时候只用编写简单的 pojo 对象就可以了,如流行的 spring remoting , jboss remoting 等等,都有这样的效果。           随着业务的需要,可能上层应用希望采用非 java 技术,如 php , ruby o ...
bijian1013 评论(0) 有1033人浏览 2015-08-02 22:45

serialization-Avro

感受最快的序列化和反序列化工具:Avro 参考阅读: http://tech.meituan.com/serialization_vs_deserialization.html 官网: http://avro.apache.org/docs/current/gettingstartedjava.html#Creating+users 代码结构图: pmo 引入: <dependency ...
王新春 评论(0) 有1191人浏览 2015-05-26 16:10

二进制序列化格式对比

二进制序列化格式 序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程。在大多数情况下,二进制序列化格式是不可读的,但它可以有效地压缩数据,这是对于缓存,进程间通信,消息代理等非常有用,选择好的二进制序列化格式对开发任务来说非常重要,可用于分布式系统间的通信和存储。让我们来看看这些格式的区别。BSONBSON(Binary Serialized Documen ...
michael_roshen 评论(0) 有1060人浏览 2015-04-13 13:28

RPC调用框架比较分析

什么是RPC: RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。 简言之,RPC使得程序能够像访问本地系统资源一样,去访问远端系统资源。 比较关键的一些方面包括,通讯协议,序列化,资源(接口)描述,服务框架,性能,语言支持等。 典型RPC调用框架: RPC的实现和调用框架,五花八 ...
pzx888 评论(0) 有3432人浏览 2015-01-19 13:06

网络通信中间件

ZeroC Ice http://www.zeroc.com/ The Internet Communications Engine (Ice) is a modern distributed computing platform with support for C++, .NET, Java, Python, Objective-C, Ruby, PHP, and ActionScrip ...
Jameslyy 评论(0) 有1425人浏览 2013-10-24 00:34

[实验]avro与non-avro的mapred例子-wordcount改写

avro非常适合用于hadoop。在开发的时候可能有这样的场景,输入的文件是non-avro的,输出的文件是avro的。这样就需要一个是非avro的mapper和一个avro的reducer。下面通过改写wordcount例子演示这个过程。 Mapper public class WordCountMapper extends MapReduceBase implements Mapper ...
GQM 评论(0) 有1043人浏览 2013-09-03 16:15

[笔记]avro 介绍及官网例子

Apache Avro是一个独立于编程语言的数据序列化系统。旨在解决Hadoop中Writable类型的不足:缺乏语言的可移植性。其强调数据的自我描述,依赖于它的schema。即支持动态加载schema,动态映射;也支持代码生成的描述性映射。 官网的介绍: 引用Apache Avro™ is a data serialization system. Avro provides: Rich data ...
GQM 评论(0) 有3881人浏览 2013-09-02 14:22

轻量级开源RPC框架——avro-rpc性能测试

1:介绍 avro-rpc是一个支持多序列化方式的RPC框架,目前支持Avro,Protocol Buffers ,Json,Hessian,Java序列化方式。网络传输层使用Netty的NIO实现,协议层可扩展,用户可以自定义协议格式及注册新的序列化方式。 基本特点         1:跨语言,可作为跨语言系统之间的分布式服务框架。         2:简洁高效易扩展,代价简洁 ...
taohuifei 评论(0) 有2592人浏览 2012-10-11 16:26

avro-rpc一个轻量级的开源的RPC框架,支持序列化方式有Avro,Json,Hessian,Java

avro-rpc   http://code.google.com/p/avro-rpc/1.开发背景 公司的运营管理平台建立在J2EE平台之上,采用多层分布式的架构体系。分布式服务节点之间需要通讯和交互(业务节点和资源节点之间),服务端和客户端需要交互(终端客户端需要调用服务端的远程服务,客户端有C实现的,也有Java等其他语言实现的)。因此基础平台需要提供一个稳定、高效的、可伸缩的RPC服务性组 ...
taohuifei 评论(0) 有10637人浏览 2012-09-25 17:04

五个最给力的Hadoop项目

  1.Cascading:Cascading是基于Hadoop集群之上的数据处理API。它通过实现了丰富的功能化API,使你不需要接触MapReduce任务就能使用分布式计算能力,其核心概念是基于管道和流的数据处理。 2.Mahout:Mahout是一个基于Hadoop实现各种机器学习与数据挖掘算法库。被用来提供推荐服务。 3.Hive:Hive由Facebook出品,它为Hadoop提供 ...
yaweidai 评论(0) 有1360人浏览 2012-04-10 11:26

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics