博客首页 → kafka

最新文章列表

Kafka（二） -- Kafka 用在哪

从 Kafak 官网介绍来看，它适用于如下七类场景   消息分发(Messaging) Kafka 可以替代传统的消息中间代理系统，相比之下 Kafka 有更高的吞吐量，内置的数据划分、多副本、容错机制使得它是大规模消息处理应用的一个很好选择。 这个领域里比较传统的系统是 ActiveMQ 和 RabbitMQ。   网络行为跟踪（Website Activity ...
kafka消息队列日志数据流处理 
bibithink 评论(0) 有1193人浏览 2015-12-08 11:07

Kafka（一） -- Kafka 简介

时过境迁，Kafka 已经把自己的定位改为日志提交服务。现在官方的说法是：   Kafka是一个分布式的、分片的、多副本的日志提交服务。基于一个统一的设计，它同样也提供消息系统的功能。   （之前的说法是： Kafka 本质上是一个分布式的消息队列，但是也可以用来做日志传输的中转组件。它的主要特点如下： 分布式。内部包含多个Broker，在客户端使用分片机制来实现负载均衡。 ...
kafka简介消息队列日志系统 
bibithink 评论(0) 有1003人浏览 2015-12-07 13:41

(十二) Nepxion-Thunder分布式RPC集成框架 - 配置调优

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 本地配置 如果本地配置启动，需要在XML配置config="local" <thunder:registry id="re ...
NettyHessianKafkaRedisDocker 
nepxion 评论(4) 有1827人浏览 2015-12-01 09:47

(十一) Nepxion-Thunder分布式RPC集成框架 - 负载均衡和同步中心

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/  负载均衡和同步中心只应用于Netty和Hessian   loadbalance - 负载均衡consistenthash - 一致性Hash算 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1941人浏览 2015-11-30 09:58

(十) Nepxion-Thunder分布式RPC集成框架 - 监控中心

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   通过MonitorStat.java去刻画监控的属性，包括 private String traceId; // 跟踪ID private Str ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有2007人浏览 2015-11-30 09:56

(九) Nepxion-Thunder分布式RPC集成框架 - 治理中心

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 介绍 治理中心是基于Nepxion Swing Repository组件，Java Desktop版的服务治理系统，计划用基于E ...
NettyHessianKafkaRedisDocker 
nepxion 评论(1) 有3061人浏览 2015-11-30 09:43

(八) Nepxion-Thunder分布式RPC集成框架 - 注册中心

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 存储结构 点击查看大图 应用存储区位于顶级节点application下，分不同的通信中间件进行存储。树状结构：对于服务端，[中间件名]/[组名]/[应用名]/service/[接口名]/[ApplicationEntity的Json串]对于调用端，[ ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1253人浏览 2015-11-30 09:40

(七) Nepxion-Thunder分布式RPC集成框架 - 消息队列模型

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/      1. JMS消息队列模型 主要是用于ActiveMQ & Tibco等基于JMS标准的MQ。结构图如下： 点击查看大图 工作原理 1）Spring扫描线程扫描到一个Service节点后，就会去新建一个MQContext对象，放入Ser ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1831人浏览 2015-11-30 00:01

(六) Nepxion-Thunder分布式RPC集成框架 - 点对点模型

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   点对点模型实现，主要是用于Netty & Hessian。结构图如下：点击查看大图   1 Netty框架 1.1 工作原理 1）Spring扫描线程扫描到一个Service节点后，就开启一个服务端Netty NioSocketChannel通道(绑定 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1583人浏览 2015-11-29 23:40

(五) Nepxion-Thunder分布式RPC集成框架 - 通信协议框架

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/    1 ServerExecutor.java - 服务端运行器接口    interfaze ：接口名(例如com.nepxion.thunder.test.service.UserService)    applicationEntity包含四个参数：appli ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1689人浏览 2015-11-28 20:04

(四) Nepxion-Thunder分布式RPC集成框架 - 扫描框架

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   Thunder的扫描框架是采用Spring自定义标签扫描来初始化的 1. 定义名称空间 定义thunder-1.0.xsd，通过xsd文件进行对Spring配置文件节点的定义，规范对服务端/调用端XML格式 定义spring.schemas，实现对t ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有1322人浏览 2015-11-28 20:02

(三) Nepxion-Thunder分布式RPC集成框架 - 结构管理

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 类结构 1.1 cluster：负载均衡和远程注册中心集群服务地址同步1.1.1 consistency - 远程服务 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有2316人浏览 2015-11-28 20:01

(二) Nepxion-Thunder分布式RPC集成框架 - 使用

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 运行 1.1 Thunder任何Demo运行之前，只需要启动Zookeeper，同时在XML里面指定Zookeeper的地址，无任何其他配置。如果是运行MQ的方式启动，则自行安装MQ(Kafka，ActiveMQ，Tibco，Redis等) 1.2 Th ...
NettyHessianActiveMQKafkaRedis 
nepxion 评论(1) 有3573人浏览 2015-11-28 10:43

(一) Nepxion-Thunder分布式RPC集成框架 - 介绍

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   1. 概要 1.1 Thunder是基于Netty + Hessian + Kafka + ActiveMQ + Tibco + Zookeeper(Curator Framework) + Redis + FST + Spring + Spring Web ...
NettyHessianKafkaRedisDocker 
nepxion 评论(5) 有6743人浏览 2015-11-28 09:47

kafka特点

一、入门     1、简介     Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成， ...
kafka 
weitao1026 评论(0) 有1119人浏览 2015-11-23 02:07

flume+kafka+sparkstreaming搭建整合

主要是数据从flume进去kafka，然后交给sparkstreaming处理的流程 本文依旧以单词计数例子为例 首先，flume使用1.6版本，如果是1.6以下的话，没带有官方的kafkasink,需要自己实现，自己实现也不难实现，写一个自定义的sink，在里面方法调用kafka生产者代码，把数据发送到指定的kafka的broker的topic即可。 此处使用1.6版本，直接使用kafkaSink ...
sparkflumekafkascala 
字母哥 评论(0) 有3592人浏览 2015-11-22 00:03

【原创】探讨kafka的分区数与多线程消费

若要转载，请标明出处，谢谢！ http://raising.iteye.com/blog/2252456 ========================================================= 首先，容我吐一口老血。。。。。。 kafka算是很麻烦的一件事儿，起因是最近需要采集大量的数据，原先是只用了典型的high-level Consumer的API，最经典 ...
kafkagroup.partitionoffset多线程消费痛苦 
Everyday都不同 评论(3) 有23779人浏览 2015-10-27 14:52

kafka之生产、消费关系

直入主题：Kafka是一个消息系统，通过消费端订阅生产端，从而消费所需的数据。 问题的产生原因是生成端发送大量数据，但是海量的数据只对应一个topic，且对这个topic开辟多个分区并未成功发送数据，因此自己测试了生成端发送数据至一个topic，十个分区。生产方发送数据至一个toppic，十个分区中，消费端采用十个线程采集这一个topic与十个分区的数据（建议数据量大的数据可以采用创建多个to ...
kafka 
517573897 评论(0) 有3648人浏览 2015-10-27 12:10

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics