博客首页 → kafka

最新文章列表

kafka监控之kafka-run-class.sh

kafka自带了很多工具类，在源码kafka.tools里可以看到：    这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafka.tools里的ConsumerOffsetChecker.scala,       ...
kafka 
jxauwxj 评论(0) 有18161人浏览 2015-08-09 22:13

kafka jmx 监控

版本：kafka_2.10-0.8.1.tgz   服务器列表： ip broker-id 192.168.199.129 0 192.168.199.130 1 192.168.199.131 2     server.properties配置 配置
kafkajmx 
jxauwxj 评论(0) 有2107人浏览 2015-08-09 00:06

kafka实时监控

在kafka的开发和维护中，我们经常需要了解kafka topic以及连接在其上的consumer的实时信息，比如logsize，offset，owner等。为此kafka提供了ConsumerOffsetChecker，它的用法很简单   bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group <group> ...
kafkaoffsetchecker 
kane_xie 评论(0) 有3592人浏览 2015-07-28 22:43

Kafka优化

配置优化都是修改server.properties文件中参数值1.网络和io操作线程配置优化# broker处理消息的最大线程数num.network.threads=xxx# broker处理磁盘IO的线程数num.io. ...
hadoopkafka 
nweiren 评论(0) 有3806人浏览 2015-07-24 17:41

004.Kafka消息存储和处理

Message存储：     Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。     每个Segment存储多个Message，Message的offset决定存储位置。     ...
hadoopkafka 
nweiren 评论(0) 有1518人浏览 2015-07-24 17:38

kafka 重新分配leader kafka-preferred-replica-election.sh

bin/kafka-preferred-replica-election.sh --zookeeper hostzk/kafka-real   bin/kafka-preferred-replica-election.sh --zookeeper localhost:12913/kafka --path-to-json-file topicPartitionList.json   topi ...
kafkaleader 
blackproof 评论(0) 有6824人浏览 2015-07-17 17:45

003.Kafka基本概念

Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：             消息源（Message）的分类。 Partition：             Topic物理上的分组，一个Topic可以有多个Partition；             每个Partition存储为append log文件； ...
HadoopKafka 
nweiren 评论(0) 有1127人浏览 2015-07-17 17:17

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结

GZIP、LZO、Zippy/Snappy是常用的几种压缩算法，各自有其特点，因此适用的应用场景也不尽相同。这里结合相关工程实践的情况，做一次小结。 压缩算法的比较 以下是Google几年前发布的一组测试数据（数据有些老了，有人近期做过测试的话希望能共享出来）： Algorithm % remaining Encoding Decoding GZIP 13.4%           21 M ...
hbase算法gzipkafkasnappy 
ych0108 评论(0) 有3976人浏览 2015-07-17 15:31

故障：Kafka异步发送致使所有相关线程阻塞

这个故障在我们前段时间线上服务碰到过，具体的问题描述跟KAFKA-1415里提及的完全一样。 简单概括就是，正常情况下，使用kafka异步producer.send()发送 ...
opensourcekafka 
wxl24life 评论(1) 有14614人浏览 2015-07-17 10:54

002.Kafka的Java访问

首先创建Producer， 其次创建Consumer， 最后自定义Partition   1）Kafka的生产者KafkaProducer package com.sinovatech.framework.kafka;   import java.util.Properties;   import kafka.javaapi.producer.Producer; impor ...
HadoopKafka 
nweiren 评论(0) 有764人浏览 2015-07-15 10:23

kafka接口协议二 详细

kafka没有直接将消息发给某个topic的partition，所以product必须发送partition的broker   client可以从任意broker获得cluster metadata信息，获得paritition的leader broker，当leader broker处理数据有误时，有两种情况1.broker死了，2broker不在包含此partition； 所以需要 ...
kafka接口协议 
blackproof 评论(0) 有1823人浏览 2015-07-10 11:12

kafka接口协议

The Kafka protocol is fairly simple, there are only six client requests APIs.   Metadata - Describes the currently available brokers, their host and port information, and gives information about wh ...
kafka接口协议 
blackproof 评论(0) 有1215人浏览 2015-07-10 11:06

kafka参数配置

kafka参数配置 server.properties ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broke ...
kafka参数配置 
blackproof 评论(0) 有4437人浏览 2015-07-08 16:30

kafka consumer防止数据丢失

kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。   尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。   考虑这样一个case，partiton_num=2，启动一个consu ...
kafkaoffset commit 
kane_xie 评论(0) 有16325人浏览 2015-07-07 23:08

kafka offset迁移

在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。   到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。   从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适的时候将offset ...
kafkamigrating offsets 
kane_xie 评论(0) 有2245人浏览 2015-07-05 23:23

kafka Reassign Partitions Tool

kafka 0.8增加了重新分配partition功能，进行扩容,增加减少replica，移动partition kafka-reassign-partitions.sh脚本   Option                                  Description                             ------                   ...
kafkaReassignkafka-reassign-partitions.sh 
blackproof 评论(0) 有3539人浏览 2015-07-02 20:37

kafka topic命令

   kafka topic可以定制执行brokerid和partition的topic，还有增加partition kafka topic Create, delete, describe, or change a topic. Option                               ...
kafkatopic命令 
blackproof 评论(0) 有15329人浏览 2015-07-02 20:31

Kafka Rest : Confluent

最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。 这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。 环境声明：Ubun ...
restkafkaconfluent 
kane_xie 评论(0) 有2282人浏览 2015-07-01 17:53

kafka replication tools

kafka工具   replication tool工作步骤（异步过程，执行完1就结束）： 1.更新zk上的/admin/preferred_replica_election节点，内容为副本的几个位置（不包含已经奔溃的leader）   2.controller中的zk的listener读取topic partition的副本的几个位置   3.controller获取每个topi ...
kafkareplication 
blackproof 评论(0) 有803人浏览 2015-07-01 17:20

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics