博客首页 → kafka

最新文章列表

Kafka学习之Replication tools之Add Partition Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-5.AddPartitionTool 此工具能做啥? Kafka的partition表示并发度的单元：一个topic的消息可以分布到多个partition上，并存储在多个server上。一旦创建了一个topic，就要 ...
Kafka 
邢邢色色 评论(0) 有1651人浏览 2014-07-04 16:55

Kafka学习之Replication tools之Create Topic Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥？ 如果设置auto.create.topics.enable为true，则Kafka会默认自动创建topic。会使用默认的partition数量，replication ...
Kafka 
邢邢色色 评论(0) 有1882人浏览 2014-07-04 16:36

Kafka学习之Replication tools之List Topic Tool

原文链接:https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-3.ListTopicTool 此工具能干啥? 此工具列出了一个指定的topic的列表的信息。如果在命令行中没有提供topic，则会向ZK查询，获得所有的topic并展示它们的信息，其中有topic的名字，part ...
Kafka 
邢邢色色 评论(0) 有2042人浏览 2014-07-04 16:29

Kafka学习之Replication tools之Preferred Replica Leader Election Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-2.PreferredReplicaLeaderElectionTool 这工具做了啥？ 为了支持replication功能，每一个partition可以有多个replica。一个partition的replica ...
Kafka 
邢邢色色 评论(0) 有4641人浏览 2014-07-04 16:08

Kafka学习之Replication tools之controlled shutdown

原文地址：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-1.ControlledShutdown controlled shutdown是啥意思？ 在0.8版本中，每一个partition可以有多个replica。这些replica分布在多个broker上，提供了高可用。 ...
Kafka 
邢邢色色 评论(0) 有3557人浏览 2014-07-04 14:55

Kafka学习之broker配置(0.8.1版)

broker.id  默认值：无 每一个broker都有一个唯一的id，这是一个非负整数，这个id就是broker的"名字"，这样就允许broker迁移到别的机器而不会影响消费者。你可以选择任意一个数字，只要它是唯一的。   log.dirs 默认值：/tmp/kafka-logs 一个用逗号分隔的目录列表，可以有多个，用来为Kafka存储数据。每当需要为一个新的pa ...
Kafka配置 
邢邢色色 评论(0) 有6128人浏览 2014-07-03 14:15

高性能消息系统——Kafka

  什么是Kafka？引用官方原文： “Kafka is a distributed, partitioned, replicated commit log service.”它提供了一个非常特殊的消息机制，不同于传统的mq。官网：https://kafka.apache.org它与传统的mq区别？    更快！单机上万TPS    传统的MQ，消息被消化掉后会被mq删除，而kafka中消息被 ...
Kafka 
liyonghui160com 评论(0) 有2541人浏览 2014-06-24 13:51

kafka的单机部署(针对kafka_2.8.0-0.8.0.)版本

本部署使用的版本为kafka_2.8.0-0.8.0。 参考了http://blog.csdn.net/itleochen/article/details/17451455这篇博文； 并根据官网介绍http://kafka.apache.org/documentation.html#quickstart完成。 废话少说，直接上步骤 1.下载kafka_2.8.0-0.8.0.tar.gz htt ...
kafkamq部署 
sesame84 评论(0) 有2899人浏览 2014-06-10 17:00

管中窥豹：腾讯大数据平台

腾讯有中国最全的社交数据，面对一个数据金矿，腾讯不可能坐视不理，腾讯基于hadoop研究了自己的大数据平台，最大的一个集群规模超过5600台。本文简单分析下腾讯的大数据平台的技术特点。 下面这个图是腾讯的技术架构图：   整个系统相对比较简单，主要有以下几大组件组成。 TDBank（Tencent Data Bank）：数据实时收集与分发平台。将数据处理系统同数据源解耦，基于“发布-订阅 ...
kafkastormgaiayarnspark 
jiezhu2007 评论(0) 有3851人浏览 2014-05-18 08:32

kafka安装测试

kafka安装测试过程 kafka的性能在此不再赘述，百度一下很多，在此描述一下kafka的安装和测试过程： 安装kafka： #tar -xzf kafka_2.9.2-0.8.1.tgz #cd kafka_2.9.2-0.8.1 #mv kafka_2.9.2-0.8.1 kafka   开启zookeeper服务： bin/zookeeper-server-star ...
kafka 
duguyiren3476 评论(0) 有1797人浏览 2014-05-14 15:18

高速数据总线kafka分析

  1. Kafka的作用 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。 ...
hadoopkafkarockmq 
jiezhu2007 评论(0) 有4601人浏览 2014-04-25 20:55

Kafka 安装和测试

1. 简介 kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。 i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookee ...
kafkazookeeperscalajvm 
czj4451 评论(1) 有149265人浏览 2014-04-15 10:31

kafka issues

0.8.1 Release 1. 需要将slf4j的jar包拷贝到kafka的lib目录下，否则运行producer和consumer的shell test会报错 2. 使用java的api，props.put("metadata.broker.list", "xxx.xxx.xxx.xxx:9092");如果brokerlist在server端kafka的 ...
javakafka 
josephgao 评论(0) 有533人浏览 2014-04-04 09:34

Kafka 集群构建

最近要做实时计算相关的东西，目前每天约100G日志，还在不断增长，高峰时一天400G日志。 考虑过flume+activemq+storm+redis+hadoop， 考虑用kafka做mq的备用方案。 我这里用了公司的三台机器 192.168.197.170 192.168.197.171 192.168.197.172 一. Zookeeper集群构建 Zoo ...
kafkazooker分布式 
Josh_Persistence 评论(0) 有1809人浏览 2014-04-01 23:39

分布式发布订阅消息系统 Kafka 架构设计

Kafka是一个消息系统，原先开发自LinkedIn，用作LinkedIn的活动流（activity stream）和运营数据处理管道（pipeline）的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道（data pipeline）和消息系统使用。 活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括访问量（page view）、被查看内容方面 ...
分布式发布订阅消息系统Kafka架构设计 
aoyouzi 评论(0) 有690人浏览 2014-03-13 09:39

kafka安装使用

1单机 安装 安装过程，参考官网：   > tar xzf kafka-<VERSION>.tgz > cd kafka-<VERSION> > ./sbt update > ./sbt package > ./sbt assembly-package-dependency 出现问题 1 在安装 0.8 版本时，出现如下问 ...
kafka安装使用 
aoyouzi 评论(0) 有1302人浏览 2014-03-13 09:37

KAFKA学习笔记2

Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。   当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对linkedin的日志不是必须的，故可通过降低可靠性来提高性能，同时 ...
KAFKA学习笔记 
aoyouzi 评论(0) 有763人浏览 2014-03-13 09:37

kafka学习笔记1之简介

在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：   l  我想分析一下用户行为（pageviews），以便我能设计出更好的广告位 l  我想对用户的搜索关键词进行统计，分析出当前的流行趋势。这个很有意思，在经济学上有个长裙理论，就是说，如果长裙的销量高了，说明经济不景气了，因为姑娘们没钱买各种丝袜了。 l  有些数据，我觉得存数据库浪费，直接存硬盘又怕到时候操 ...
kafka学习笔记 
aoyouzi 评论(0) 有846人浏览 2014-03-12 19:08

kafka安装

1、下载:http://kafka.apache.org/2、安装步骤:http://kafka.apache.org/documentation.html#quickstart没有按照上面的步骤执行./sbt修改 conf/server.propertieszookeeper.connect=192.168.27.101:2181broker.id分别改成broker.id=0host.name ...
kafka安装 
aoyouzi 评论(0) 有1002人浏览 2014-02-19 12:34

kafka0.7在linux上的单点及集群环境搭建与配置

IT业的小白，最近用了消息对了，研究了下kafka，并且研究了在kafka基础上进行了二次开发的淘宝rocketMQ，打算写下安装与配置环境，和初级demo。有用过的大家一起交流。这个过程参考了frankHui博客里的的安装配置过程。 kafka0.8版本比0.7版本增加了一些功能，先说下0.7版本的单点搭建和配置。 kafka的搭建需要zookeeper的支持，所以如果你的服务器还没有安装zo ...
kafkaapachezookeeper 
meowo 评论(0) 有1721人浏览 2014-01-08 10:47

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64570) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54784) Web(54511) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40811) 编程(39454) Windows(39381) JSP(37540) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics