博客首页 → kafka

最新文章列表

Kafka深度解析

本人原创文章，首发自本人个人博客站点，www.jasongj.com。 转载须在文章头部以超链形式注明出处 欢迎关注公众号【大数据架构】  背景介绍 Kafka ...
Kafka大数据分布式集群 
Jasongj 评论(0) 有693人浏览 2015-03-28 00:24

闲扯kafka mq

本文主要讲解关于kafka mq的设计思想及个人理解。关于kafka的详细信息，大家可以参考官网的文献http://kafka.apache.org/documentation.html这是一篇相当不错的文章，值得仔细研读。   第一个问题：消息队列（Message Queue）是干嘛用的？ 首先，要对消息队列有一个基本的理解。不少人虽然在用消息队列，却并没有搞清楚消息队列是干嘛的。 有 ...
kafka 
quentinXXZ 评论(0) 有3403人浏览 2015-02-25 21:41

KAFKA分布式消息系统

Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。 当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适合离线）。高可靠交付对linkedin的日志不是必须的，故可通过降低可靠性来提高性能，同时通过构 ...
KAFKA分布式消息系统 
abc123456789cba 评论(0) 有2384人浏览 2015-02-01 23:31

Kafka Consumer的底层API- SimpleConsumer

Kafka Consumer的底层API- SimpleConsumer  1.Kafka提供了两套API给Consumer The high-level Consumer API The SimpleConsumer API      第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API ...
KafkaSimpleConsumerAPI 
winds.liu 评论(0) 有1040人浏览 2015-01-20 15:25

Apache Kafka 集群环境搭建

Apache Kafka 是一个高吞吐量分布式消息系统，由LinkedIn开源。引用官网对kafka的介绍：“Apache Kafka is publish-subscribe messaging rethought as a distributed commit log.” ...
kafkaapache分布式消息系统 
BigCat2013 评论(2) 有3507人浏览 2015-01-14 16:24

kafka集群配置-windows版

下载kafka二进制包kafka_2.10-0.8.1.1.tgz，解压 1.拷贝conf/server.properties为 第一个节点server-9093.properties，修改如下内容： broker.id=9093 port=9093 host.name=127.0.0.1 log.dirs=/tmp/kafka-logs-9093 zookeeper.connect=local ...
kafka 
byx5185 评论(0) 有9226人浏览 2014-12-15 16:11

Apache kafka原理与特性

前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终 ...
kafka 
wbj0110 评论(0) 有610人浏览 2014-11-22 21:51

一个实时数据服务平台的设计和实现

背景     在这个项目之前，也做过一个准实时的项目，大约延时10分钟左右，但是对业务单位的数据有要求，需要提供数据变化表，采用批量方式抽取 ...
FLUMEKAFKAHBASEElasticSearch实时平台 
zhousheng29 评论(1) 有2644人浏览 2014-11-20 17:54

jafka学习之Send

       Send这块是比较好理解的，它的作用就是produer或者consumer给broker发消息后的响应，先来看下类图。              从这个来看，最上层是一个Trasmission，里面有三个断言，来描述消息的发送情况。        Send接口封装写socket的channel，在AbstractSend里面封装具体的发送逻辑。        其他的就不详 ...
kafkajafkamq 
asialee 评论(0) 有1254人浏览 2014-08-26 06:44

jafka学习之RequestHandler

        RequestHandler从代码来看是比较简单的一个组件，在producer和consumer和broker打交道的过程中，均有一些请求数据，这个里面相当于自定义了一个简单的通讯协议，RequestKeys枚举就是具体的命令的映射类。        这个组件直接来看类图就很明白了，就不详细讲解了。  
kafkajafkamq 
asialee 评论(0) 有1099人浏览 2014-08-26 06:42

jafka学习之网络

       首先我们先来看SocketServer这个的实现类，这个类虽然实现的很简单，但是包含了nio请求的最基本的过程。   这个类实现的比较经典 我们先来看下局部变量：   // 从类的命名来看是一个RequestHandler的工程类 private final RequestHandlerFactory handlerFactory; // 可以接 ...
kafkaniojafka 
asialee 评论(0) 有973人浏览 2014-08-25 10:03

kafka_2.9.2-0.8.1.1伪分布式集群安装

  Kafka版本：kafka_2.9.2-0.8.1.1官网：http://kafka.apache.org/官方文档：http://kafka.apache.org/documentation.html#quickstart下载解压 [root@rs229 ~]# wget -c -P /root http://mirrors ...
kafka_2.9.2-0.8.1.1安装kafka 
liyonghui160com 评论(0) 有5535人浏览 2014-08-19 10:20

记阿里电话面试的一个遗留问题：淘宝订单如何保证与支付宝订单的同步“？

刚刚接到阿里的一个电话面试，提到这个问题，一时间没回答上来。  这里对此问题作下分析：       首先这应该是一个发散性问题，考察面试者的问题分析能力和处理能力。 前提条件： 1：淘宝平台，与支付宝平台必然是解耦的。也就是说在淘宝创建订单过程中不可能是同步调用支付宝创建订单接口（同步调步使用两系统耦合太紧，时延太长，支付宝创建出错还将导致淘宝订购失败，这无法接受）。 2：虽然是异步调 ...
阿里面试异步系统同步kafka 
james_lover 评论(0) 有1740人浏览 2014-07-28 18:04

消息系统Kafka介绍

1、  概述   Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见，这些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。 传统的日志分析系统提供了一种离线处理日志信息的可扩展方案，但若要进行实时处理，通常会有较大延迟。而现有的消 ...
消息系统Kafka介绍 
aoyouzi 评论(0) 有614人浏览 2014-07-27 09:20

kafka Failed to send messages after 3 tries

  kafka Failed to send messages after 3 tries.   在kafka0.8开发过程中 生产者测试用例碰到了 Exception in thread "main" kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries. ...
kafkakafka Failed to send messages after 3 tries 
liyonghui160com 评论(2) 有3560人浏览 2014-07-17 16:01

Kafka

  Apache Kafka：下一代分布式消息系统    简介   Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。   Apache Kafka与传统消息系统相比，有以下不同：   它被设计为一个分布式系统，易于向外扩展； ...
消息系统kafka 
ddlgyq 评论(0) 有1347人浏览 2014-07-09 18:43

Kafka学习之监控

参考文档：https://kafka.apache.org/documentation.html#monitoring   Kafka使用Yammer Metrics来报告server和client的众多metric。还可以使用其他的插件来跟你的监控系统连接起来，比如https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters ...
Kafka 
邢邢色色 评论(0) 有14138人浏览 2014-07-07 14:32

Kafka学习之源代码环境搭建(eclipse)

主要参考：https://cwiki.apache.org/confluence/display/KAFKA/Developer+Setup#DeveloperSetup-Eclipsesetup   下面是我自己的步骤：   1，安装Eclipse，略过，我的版本是：  2，安装scale插件，注意要跟你的eclipse版本对应，访问http://scala-ide.org/down ...
Kafka 
邢邢色色 评论(0) 有3383人浏览 2014-07-07 12:03

Kafka学习之Replication tools之StateChangeLogMerger Tool

原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-7.StateChangeLogMergerTool 此工具能做啥 ?   此工具的目标是从集群中的各个broker中收集数据并格式化最后合并成一个文件来帮助我们查看state changes，查明问题。集群中的 ...
Kafka 
邢邢色色 评论(0) 有1778人浏览 2014-07-05 17:56

Kafka学习之Replication tools之Reassign Partitions Tool

  原文链接：https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools#Replicationtools-6.ReassignPartitionsTool 此工具能做啥? 此工具的作用跟Referred Replica Leader Election工具类似，都是为了平衡集群的负载。但工具不仅为某一个part ...
Kafka 
邢邢色色 评论(0) 有5081人浏览 2014-07-05 11:33

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics