kafka热门博客列表 - ITeye博客频道 - 第13页

博客专栏推荐

本月博客排行

年度博客排行

kafka监控之kafka-run-class.sh

kafka自带了很多工具类，在源码kafka.tools里可以看到：这些类该如何使用呢，kafka的设计者早就为我们考虑到了，在${KAFKA_HOME}/bin下，有很多的脚本，其中有一个kafka-run-class.sh，通过这个脚本，可以调用其中的tools的部分功能，如调用kafka.tools里的ConsumerOffsetChecker.scala, ...

kafka

jxauwxj 评论(0) 有18132人浏览 2015-08-09 22:13

kafka jmx 监控

版本：kafka_2.10-0.8.1.tgz 服务器列表： ip broker-id 192.168.199.129 0 192.168.199.130 1 192.168.199.131 2 server.properties配置配置

kafka jmx

jxauwxj 评论(0) 有2090人浏览 2015-08-09 00:06

kafka实时监控

在kafka的开发和维护中，我们经常需要了解kafka topic以及连接在其上的consumer的实时信息，比如logsize，offset，owner等。为此kafka提供了ConsumerOffsetChecker，它的用法很简单 bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group <group> ...

kafka offsetchecker

kane_xie 评论(0) 有3579人浏览 2015-07-28 22:43

Kafka优化

配置优化都是修改server.properties文件中参数值1.网络和io操作线程配置优化# broker处理消息的最大线程数num.network.threads=xxx# broker处理磁盘IO的线程数num.io. ...

hadoop kafka

nweiren 评论(0) 有3786人浏览 2015-07-24 17:41

004.Kafka消息存储和处理

Message存储： Topic有多个Partition，一个Partition对应一个log，一个log有多个Segment。每个Segment存储多个Message，Message的offset决定存储位置。 ...

hadoop kafka

nweiren 评论(0) 有1501人浏览 2015-07-24 17:38

kafka 重新分配leader kafka-preferred-replica-election.sh

bin/kafka-preferred-replica-election.sh --zookeeper hostzk/kafka-real bin/kafka-preferred-replica-election.sh --zookeeper localhost:12913/kafka --path-to-json-file topicPartitionList.json topi ...

kafka leader

blackproof 评论(0) 有6802人浏览 2015-07-17 17:45

003.Kafka基本概念

Kafka基本概念：Topic、Partition、Message、Producer、Broker、Consumer。 Topic：消息源（Message）的分类。 Partition： Topic物理上的分组，一个Topic可以有多个Partition；每个Partition存储为append log文件； ...

Hadoop Kafka

nweiren 评论(0) 有1117人浏览 2015-07-17 17:17

GZIP、LZO、Zippy/Snappy压缩算法应用场景小结

GZIP、LZO、Zippy/Snappy是常用的几种压缩算法，各自有其特点，因此适用的应用场景也不尽相同。这里结合相关工程实践的情况，做一次小结。压缩算法的比较以下是Google几年前发布的一组测试数据（数据有些老了，有人近期做过测试的话希望能共享出来）： Algorithm % remaining Encoding Decoding GZIP 13.4% 21 M ...

hbase 算法 gzip kafka snappy

ych0108 评论(0) 有3961人浏览 2015-07-17 15:31

故障：Kafka异步发送致使所有相关线程阻塞

这个故障在我们前段时间线上服务碰到过，具体的问题描述跟KAFKA-1415里提及的完全一样。简单概括就是，正常情况下，使用kafka异步producer.send()发送� ...

opensource kafka

wxl24life 评论(1) 有14581人浏览 2015-07-17 10:54

002.Kafka的Java访问

首先创建Producer，其次创建Consumer，最后自定义Partition 1）Kafka的生产者KafkaProducer package com.sinovatech.framework.kafka; import java.util.Properties; import kafka.javaapi.producer.Producer; impor ...

Hadoop Kafka

nweiren 评论(0) 有754人浏览 2015-07-15 10:23

kafka接口协议二详细

kafka没有直接将消息发给某个topic的partition，所以product必须发送partition的broker client可以从任意broker获得cluster metadata信息，获得paritition的leader broker，当leader broker处理数据有误时，有两种情况1.broker死了，2broker不在包含此partition；所以需要 ...

kafka 接口协议

blackproof 评论(0) 有1807人浏览 2015-07-10 11:12

kafka接口协议

The Kafka protocol is fairly simple, there are only six client requests APIs. Metadata - Describes the currently available brokers, their host and port information, and gives information about wh ...

kafka 接口协议

blackproof 评论(0) 有1204人浏览 2015-07-10 11:06

kafka参数配置

kafka参数配置 server.properties ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broke ...

kafka 参数配置

blackproof 评论(0) 有4423人浏览 2015-07-08 16:30

kafka consumer防止数据丢失

kafka最初是被LinkedIn设计用来处理log的分布式消息系统，因此它的着眼点不在数据的安全性（log偶尔丢几条无所谓），换句话说kafka并不能完全保证数据不丢失。尽管kafka官网声称能够保证at-least-once，但如果consumer进程数小于partition_num，这个结论不一定成立。考虑这样一个case，partiton_num=2，启动一个consu ...

kafka offset commit

kane_xie 评论(0) 有16285人浏览 2015-07-07 23:08

kafka offset迁移

在早前的kafka版本中（0.8.0），offset是被存储在zookeeper中的。到当前版本（0.8.2）为止，kafka同时支持offset存储在zookeeper和offset manager（broker）中。从官方的说明来看，未来offset的zookeeper存储将会被弃用。因此现有的基于kafka的项目如果今后计划保持更新的话，可以考虑在合适的时候将offset ...

kafka migrating offsets

kane_xie 评论(0) 有2235人浏览 2015-07-05 23:23

kafka Reassign Partitions Tool

kafka 0.8增加了重新分配partition功能，进行扩容,增加减少replica，移动partition kafka-reassign-partitions.sh脚本 Option Description ------ ...

kafka Reassign kafka-reassign-partitions.sh

blackproof 评论(0) 有3521人浏览 2015-07-02 20:37

kafka topic命令

kafka topic可以定制执行brokerid和partition的topic，还有增加partition kafka topic Create, delete, describe, or change a topic. Option ...

kafka topic 命令

blackproof 评论(0) 有15306人浏览 2015-07-02 20:31

Kafka Rest : Confluent

最近拿到一个kafka rest的需求，但kafka暂时还没有提供rest api（应该是有在开发中，毕竟rest这么火），上网搜了一下，找到一个Confluent Platform，本文简单介绍一下安装。这里插一句，给大家推荐一个九尾搜索，原名叫谷粉SOSO，不想fanqiang谷歌的可以用这个。以前在外企用谷歌用习惯了，出来之后用度娘搜技术问题，那匹配度简直感人。环境声明：Ubun ...

rest kafka confluent

kane_xie 评论(0) 有2266人浏览 2015-07-01 17:53

kafka replication tools

kafka工具 replication tool工作步骤（异步过程，执行完1就结束）： 1.更新zk上的/admin/preferred_replica_election节点，内容为副本的几个位置（不包含已经奔溃的leader） 2.controller中的zk的listener读取topic partition的副本的几个位置 3.controller获取每个topi ...

kafka replication

blackproof 评论(0) 有790人浏览 2015-07-01 17:20

« 上一页 1 2 … 12 13 14 15 16 17 下一页 »

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

博客电子书下载排行

>>浏览更多下载