博客首页 → kafka

最新文章列表

kafka ClosedChannelException

kafka ClosedChannelException    本人遇到的这个异常，是由于当前消费端服务器没有配置zk和kafka的主机名。 在 /etc/hosts 里配置上zk和kakfa的主机名就不好报错了
kafka 
e_e 评论(0) 有938人浏览 2016-08-30 10:10

kafka 异常ConsumerRebalanceFailedException

异常信息： kafka.common.ConsumerRebalanceFailedException: uat_admin-pc-1472462879203-b0fd524a can't rebalance after 4 retries at kafka.consumer.ZookeeperConsumerConnector$ZKRebalancerListener.syncedRebal ...
kafka 
e_e 评论(0) 有3269人浏览 2016-08-30 10:10

Kafka-producer端-network层消息发送的源码探究

前面我们对应用层的一些原理进行了特别的源码跟踪分析，今天我们就深入到网络层，看下producer端的sender线程是如何把一个消息发送到server端的。    ...
KafkaProducer 
fish_no7 评论(0) 有2582人浏览 2016-08-24 17:41

kafka-producer端-系统设计关注点的源码探究

    目前我对kafka producer的关注点大概有这三个：1.producer如何去支持分区（分布式）；2. 如何保证消息的可靠发送（ACK）；3. 如何保证可用性（异步之后，如何对内存进行管理（缓存消息在内存中的存储结构），以及OOM后发送线程的状态，以及IO线程的实现）。所以今天着重这三个点去了解源码的实现，其余的点如producer端对有序的保证，协议层，网络层的实现等后期有时间再 ...
Kafkaproducer 
fish_no7 评论(0) 有3547人浏览 2016-08-22 16:08

kafka生成者实例

1. 配置文件 producer.properties #kafka broker list metadata.broker.list=master:9092,slave1:9092,slave2:9092,slave3:9092 #异步 producer.type=sync #压缩方式 compression.codec=0 #序列化 serializer.class=ka ...
kafka 
houston123 评论(0) 有1110人浏览 2016-08-15 13:33

kafka消费者实例

1.配置文件 consumer.properties #zookeeper地址 zookeeper.connect=master:2181,slave1:2181,slave2:2181 #zookeeper超时时间 zookeeper.connectiontimeout.ms=1000000 #kafka的consumer组 group.id=test-group ...
kafka 
houston123 评论(0) 有828人浏览 2016-08-15 13:32

Leek——韭菜的自我救赎

Leek——韭菜的自我救赎 Leek是一款基于分布式的简易版智能实时选股系统，计算能力超强，代码量极少。 相关项目：项目地址：Leek——简易版实时智能选股平台 目前实现了3种简单的策略（欢迎大家pull request更多策略）： 策略1：大单卖，选出股票的卖5档总手数大于买5档口总手数100倍时的股票；策略2：大单买，选出股票的买5档总手数大于卖5档口总手数100倍时的股票；策 ...
StormEsperKafkaFlume大数据 
wosyingjun 评论(0) 有3034人浏览 2016-08-15 09:01

分布式发布订阅消息系统 Kafka 架构设计

Consumer state In Kafka, the consumers are responsible for maintaining state information (offset) on what has been consumed. Typically, the Kafka consumer library writes their state data to zookeeper. ...
kafka 
houston123 评论(0) 有557人浏览 2016-08-11 13:48

Kafka集群的部署与测试

KafKa集群的部署与测试 kafka是一款分布式消息发布和订阅的系统，相比ActiveMQ具有高性能和高吞吐率。 官方网站： http://kafka.apache.org/documentation.html#quickstart 相关项目：相关示例项目：Leek——简易版实时智能选股平台 一、kafka原理图 二、kafka的安装（安装kafka前需要先安装JDK环境 ...
kafka消息中间件 
wosyingjun 评论(1) 有7303人浏览 2016-08-10 08:37

kafka初步

1.环境 Windows 7 JDK 1.7.0_72 kafka_2.11-0.10.0.0 2.下载 去官网下载kafka_2.11-0.10.0.0.tgz kafka原生支持在windows上运行。 3.单机版测试 3.1 启动zookeeper bin\windows\zookeeper-server-start.bat config/zookeeper.propertie ...
kafka 
xpenxpen 评论(0) 有1032人浏览 2016-08-04 14:39

手动从零使用ELK构建一套搜索服务

由于Iteye不支持MarkDown语法写的文章，请大家点击下面链接查看我放在开源中国上的文章 http://my.oschina.net/u/1027043/blog/719749
elkkafka 
qindongliang1922 评论(2) 有1415人浏览 2016-07-28 19:54

RabbitMq与KafKa比较

如何保证kafka的高容错性？ producer不使用批量接口，并采用同步模型持久化消息。 consumer不采用批量化，每消费一次就更新offset   ActiveMq RabbitMq Kafka producer容错，是否会丢数据   有ack模型，也有事务模型，保证至少不会丢数据。ack模型可能会有重复消息，事务模型则保证完全一致 批量形式下，可能会丢数据。 非批 ...
RabbitMq与KafKa比较KafKaRabbitMq 
lucien_zzy 评论(0) 有2281人浏览 2016-07-06 17:28

消息队列的选择：kafka、rabbitmq、zeromq

最近在做一个数据分析相关的工作，需求是将全国各地idc内的流量信息进行汇总和分析最后吐出一些安全策略，由于对时效性的要求比较高，大概每隔几秒就会有一次几十M的的数据需要传递到汇总服务器上去，而且随着业务的发展数据量还会越来越大，所以使用什么手段来做数据的传输就成为了一个关键的问题。 首先是可扩展性，如果使用标准socket进行传递的话随着数据量的扩大单点肯定会成为瓶颈，而且如果可用性要高的话， ...
消息队列的选择MQ比较kafkarabbitmqzeromq 
lucien_zzy 评论(0) 有1673人浏览 2016-07-06 17:19

RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总

MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。   第一部分：RabbitMQ,ActiveMq,ZeroMq比较 1、 TPS比较 一 ZeroMq 最好，RabbitMq 次之， ActiveMq 最差。 测试环境：      Mode ...
消息队列MQRabbitMqActiveMqkafka 
lucien_zzy 评论(0) 有1471人浏览 2016-07-06 17:10

kafka java 生产消费程序demo示例

kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。 首先我们需要新建一个maven项目，然后在pom中引用kafka jar包，引用依赖如下： <dependency> <groupId>org.apache.kafka</group ...
kafka 
waitgod 评论(0) 有675人浏览 2016-07-04 14:43

kafka简单安装部署

一、安装、配置 　１．下载 kafka是由linkedin开源的，但是已经托管在了apache，所以需要从apache下载，http://kafka.apache.org/downloads.html。安装推荐的版本安装就可以了，例如下面0.10.0.0是最新的release，也是推荐稳定的release。建议下载scala 2.11版本(kafka是scala语言开发的) Release ...
kafka 
carlosfu 评论(0) 有4398人浏览 2016-07-02 21:39

Apache kafka 解读

消息队列应用场景：异步处理、应用解耦、流量削锋、日志处理、消息通讯 架构： kafka是显式分布式架构，producer、broker（Kafka）和consumer都可以有多个。Kafka的运行依赖于ZooKeeper，Producer推送消息给kafka，Consumer从kafka拉消息。 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google ...
kafka 
maosheng 评论(0) 有861人浏览 2016-06-29 12:42

关于Eclipse开发环境下 Spark+Kafka 获取topic的时候连接出错

林林总总玩了Spark快一个月了， 打算试一下kafka的消息系统加上Spark Streaming 进行实时推送数据的处理。 简单的写了一个类作为kafka的producer， 然后SparkStreaming的类作为consumer Producer 的run方法产生数据： public void run() { KafkaProducer<Integer, Str ...
sparkkafka 
humingminghz 评论(0) 有7389人浏览 2016-06-28 17:20

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics