博客首页 → kafka

最新文章列表

用于处理日志的分布式消息系统Kafka（吞吐量高于ActiveMQ和RabbitMQ）

1、几个重要概念 1.1 topic 1.2 broker 1.3 consumer pull message，不是broker push消息给消费者，这样做的另一个特点是，消费者可以绕过当前偏移位的消息，去消费其他偏移位上的消息。和传统的方式不一样。 1.4 consumer可以订阅1个或者多个topic broker不记录消息的ID（或者说没有消息ID），通过offset和消息的大小来定位消息。 ...
activemqkafkaMQ 
can_do 评论(0) 有1197人浏览 2015-10-16 17:11

kafka quick start

Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写   kafka是基于zookeeper的，在启动kafka之前要先启动zookeeper，kafka默认自带zookeeper，不需要自带的可以自行安装。   1.下载安装 官网下载，解压到 /usr/local下   shifulong kafka_2.9.1-0.8.2.2$ pwd /usr/lo ...
kafka 
shifulong 评论(0) 有854人浏览 2015-10-15 16:45

kafka 获取metadata

问题： <Failed to update metadata after 3000 ms.>   sender类的发送数据时候，会 List<ClientResponse> responses = this.client.poll(requests, pollTimeout, now);//nio 发送数据   NetworkClient类，方法poll，检查m ...
kafkametadata 
blackproof 评论(0) 有4492人浏览 2015-10-14 18:48

kafka leader balance

  Balancing leadership   Whenever a broker stops or crashes leadership for that broker's partitions transfers to other replicas. This means that by default when the broker is restarted it will only ...
kafkaleaderbalance 
blackproof 评论(0) 有3453人浏览 2015-10-14 13:23

Apache Kafka 分布式消息系统

Reference： http://www.infoq.com/cn/articles/apache-kafka http://kafka.apache.org/documentation.html RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性 ...
kafkaRabbitMQpublish-subscribe消息 
依然任逍遥 评论(0) 有769人浏览 2015-10-13 17:46

kafka broker宕机&leader选举

  broker change是由BrokerChangeListener监听类，监听/brokers/ids下得brokerid BrokerChangeListener的handleChildChange 将新的死的broker交由controller管理 class BrokerChangeListener() extends IZkChildListener with Loggi ...
kafkaleader选举broker宕机 
blackproof 评论(0) 有13920人浏览 2015-10-09 16:40

Kafka-消息中间件

                        Kafka        一个高吞吐量的（high-throughput）分布式消息系统 Features   Fast     A single Kafka broker can handle hundreds of megabytes(兆) of reads and writes per second   from thousands ...
Kafka消息中间件 
come_for_dream 评论(0) 有5381人浏览 2015-09-14 21:41

【疑难杂症】记录 kafka.common.ConsumerRebalanceFailedException:异常

最近用到kafka，使用过程中发送和接收数据却出现了诸多异常。有一个异常很诡异，如下：   Exception in thread "main" kafka.common.ConsumerRebalanceFailedException: groupB_ip-10-38-19-230-1414174925481-97fa3f2a can't rebalance afte ...
kafkaConsumerRebalanceFailedException 
Everyday都不同 评论(4) 有12142人浏览 2015-09-02 14:08

kafka producer服务端

  producer服务端： 1.nio接受请求 http://blackproof.iteye.com/blog/2239949   2.handler从请求队列中获取，调用KafkaApis http://blackproof.iteye.com/blog/2239953   3.KafkaApis类，调用handleProducerOrOffsetCommitRequest方法 ...
kafkaproducer服务端 
blackproof 评论(0) 有3039人浏览 2015-09-01 15:56

kafka KafkaRequestHandlerPool类

KafkaRequestHandlerPool是KafkaRequestHandler的handler池，处理所有请求队列 具体的处理，会交由KafkaApis类   for(i <- 0 until numThreads) { runnables(i) = new KafkaRequestHandler(i, brokerId, aggregateIdleMeter, ...
kafkaKafkaRequestHandlerPool 
blackproof 评论(0) 有1438人浏览 2015-09-01 15:12

kafka SocketServer类

    SocketServer是kafka nio,包含一个accept线程，接受socket连接，并把连接（平均）放入processors中，多个processor线程接受nio的处理请求和相应 processor请求只是将request放入requestchannel queue中（由KafkaRequestHandlerPool中handler完成） processor响应是在re ...
kafkaSocketServer类 
blackproof 评论(0) 有2076人浏览 2015-09-01 15:09

kafka windows环境的搭建之路

简介：kafka是一个分布式的、可分区的、可复制的消息系统，它常常用于处理日志信息，是Apache下的一个开源项目（觉得Apache简直太牛逼了。。）   ...
kafkazookeeperwindows环境搭建修改配置 
Everyday都不同 评论(0) 有4061人浏览 2015-08-29 19:08

kafka TopicConfigManager类

topicconfigManager类 主要流程为 1.监控config/change节点，那个topic的config变化了 2.从zk上的topic的config目录，获取最新config信息 3.更新logmanager里指定topic的tplog（每个topic每个partition对应一个log）配置 /** * 注册config change的listener ...
kafkaTopicConfigManager类 
blackproof 评论(0) 有1140人浏览 2015-08-27 11:24

kafka logManager类 kafka存储机制

  logManager类：管理kafka数据log的类，包括数据clean，flush等操作    Log类：每个tplog的对象       logSegment：每个tplog目录下的文件对象           filemessageSet：每个log file的管道类           base offset：在topic中的绝对offset值           offs ...
kafkalogManager类存储机制 
blackproof 评论(0) 有3212人浏览 2015-08-26 17:31

[转]Kafka深度解析

kafka深度解析 http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ 一、Kafka背景及架构介绍 http://www.infoq.com/cn/articles/kafka-analysis-part-1/ 二、Kafka High Availability （上） http://www ...
kafka
zheng19851 评论(0) 有861人浏览 2015-08-26 12:07

Kafka的分布式架构设计与High Availability机制

一、Kafka的基本概述   1、Kafka是什么？ kafka官网上对kafka的定义叫：A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以准确的说kafka是一个消息订阅和发布的系统。最初，Kafka实际上是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容 ...
kafka分布式busHAHigh Availability 
Josh_Persistence 评论(0) 有4804人浏览 2015-08-12 00:28

kafka安装和环境搭建

kafka具体的介绍这里不再进行叙述，已经有很多的好的文章进行叙述了，这里只是记录下自己搭建kafka环境的相关过程。 操作系统:centos6.5 64位 三台服务器（虚拟机）192.168.100.90，192.168.100.91，192.168.100.92 三台服务器组成kafka集群，90和91服务器组成zookeeper集群   一、安装zookeeper集群 zook ...
kafkakafka环境搭建zookeeperkafka安装zookeeper安装 
z19910509 评论(0) 有2527人浏览 2015-08-11 10:10

读取kafka-run-class.sh 执行的结果

接上一篇，通过命令行或执行kafka.tools.ConsumerOffsetChecker的main方法，都只能把结果显示在标准输出流中，如果我想实时展示这些数据咋办呢？ 这时就就需要把这些信息读出来。代码如下：   package com.wxj.kafka.monitor.jmx; import java.io.BufferedReader; import java.io.IOE ...
kafka 
jxauwxj 评论(0) 有5507人浏览 2015-08-09 22:25

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics