博客首页 → kafka

最新文章列表

kafka client端 producer

kafka producer客户端   KafkaProducer的send方法： 1.等待kafka要发送的topic的partition都在线 2.序列化key，value； key:org.apache.kafka.common.serialization.IntegerSerializer value:org.apache.kafka.common.serializati ...
producerkafka 
blackproof 评论(0) 有22467人浏览 2015-06-19 14:57

Zookeeper可以干什么，能带来什么

在Zookeeper的官网上有这么一句话：ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services.  这大概描述了Zookeeper主要可以干哪 ...
zookeeperstormkafka 
hui_jing_880210 评论(0) 有1019人浏览 2015-06-17 09:09

KAFKA设计

Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。 我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字节拷贝。I/O问题发生在客户端和服务端之间，也发生在服务端内 ...
KAFKA 
zhangxiong0301 评论(0) 有1252人浏览 2015-06-09 10:33

kafka

【原创声明】本文属作者原创，已授权InfoQ中文站首发，转载请务必在文章开头标明出自“Jason's Blog”，并附上原文链接http://www.jasongj.com/2015/06/08/KafkaColumn3/ 同时欢迎关注作者微信公众号【大数据架构】 摘要 　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failo ...
Kafka消息系统分布式集群大数据 
Jasongj 评论(0) 有937人浏览 2015-06-08 21:33

kafka之java编程模型

package com.ganglia.kafka; import java.util.Date; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig ...
kafkajava 
ganliang13 评论(0) 有1370人浏览 2015-06-08 15:47

kafka源码编译

 git clone http://git-wip-us.apache.org/repos/asf/kafka.git D:\git\kafka   https://kafka.apache.org/downloads.html    安装gradle    到kafka目录下    运行gradle wrapper，解决找不到类  If you just checked ou ...
kafka源码编译eclipse 
blackproof 评论(0) 有3073人浏览 2015-06-06 14:11

kafka获得最新partition offset

kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util. ...
kafka最新partitionoffset 
blackproof 评论(4) 有32409人浏览 2015-06-05 17:45

kafka参数转

转 http://damacheng009.iteye.com/blog/2087996   metadata.broker.list 默认值：无，必填 格式为host1:port1,host2:port2，这是一个broker列表，用于获得元数据(topics，partitions和replicas)，建立起来的socket连接用于发送实际数据，这个列表可以是broker的一个子集，或者 ...
kafka参数 
blackproof 评论(0) 有1794人浏览 2015-06-05 17:41

Kafka介绍

1. 引言 互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等。对于这些日志的离线分析（Hadoop），wget&rsync虽然人力维护成本较高，但可以满足功能行需求。但对于这些日志的实时分析需求（例如实时推荐，监控系统），则往往必须要引入一些“高大上”的系统。 传统的企业消息系统（例如WebSphere）并不是非常适合大规模的日志处理系统，理由如下：1) 过于关 ...
消息kafkatopic 
welcome66 评论(0) 有1500人浏览 2015-06-03 11:40

KafKa简单集群环境搭建

KafKa集群配置：         1.下载解压最新的kafka安装文件 ，并分别解压到三台服务器上       tar -xzf kafka_2.10-0.8.2.0.tgz cd kafka_2.10-0.8.2.0           2.修改Server.properties配置文件：             zookeeper.connect=archtest01 ...
KafKa 
corejava2008 评论(0) 有2440人浏览 2015-05-20 12:33

Kafka Consumer接口

对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考， https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 不 ...
kafka 
zh_ka 评论(0) 有2579人浏览 2015-05-08 10:09

Kafka设计解析（二）- Kafka High Availability （上）

本文已授权InfoQ独家发表，如需转载请注明出处并与InfoQ中文站联系。InfoQ首发地址为http://www.infoq.com/cn/articles/kafka-analysis-part-2。 　　更多文章请转至本 ...
kafka消息系统分布式集群 
Jasongj 评论(0) 有623人浏览 2015-04-26 12:27

kafka常用命令

bin/zookeeper-server-start.sh config/zookeeper.properties &   //启动zookeeper服务 bin/kafka-server-start.sh config/server.properties & 创建topic bin/kafka-topics.sh --create --zookeeper 172.18.90 ...
kafka 
sxyqhyt 评论(0) 有1652人浏览 2015-04-17 17:11

Apache kafka原理与特性

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是需要日志存储端具备较高的数据吞吐能力,这种"宽松"的设 ...
kafka 
yuanhsh 评论(0) 有1023人浏览 2015-04-16 00:25

社区电商系统架构之消息队列篇：kafka的实验

1.kafka安装 tar -xzf kafka_2.10-0.8.2.1.tgzcd kafka_2.10-0.8.2.1   2.启动 主机环境 top - 11:32:15 up 118 days, 8:18, 4 users, load average: 1.97, 3.45, 4.45Tasks: 152 total, 1 running, 151 sleeping, 0 s ...
kafka队列 
wh0426 评论(0) 有3942人浏览 2015-04-09 09:35

Kafka设计解析（一）- Kafka背景及架构介绍

      本文已授权InfoQ独家发布，如需转载请注明出处并与InfoQ中文站联系。首发地址为http://www.infoq.com/cn/articles/kafka-analysis-part-1。更多文章请转至本人个人博客站点。http://www.jasongj.com 摘要 　　Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已 ...
Kafka集群分布式Zookeeper 
Jasongj 评论(0) 有684人浏览 2015-03-27 23:58

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics