博客首页 → kafka

最新文章列表

了解kafka

一:kafka简介   Kafka 是一个分布式的，可划分的，多订阅者,冗余备份的持久性的日志服务,可以简单理解为一个消息中间件。二:kafka的特点  1:分布式    kafka的producer,consumer,broker都是分布式的，可水平扩展，无需停机。  2:持久化    kafka将日志持久化到磁盘,通过将消息持久化到磁盘(磁盘线性读写)以及它的replication机制,保证 ...
kafka 
农村外出务工男JAVA 评论(0) 有4402人浏览 2017-01-04 13:00

kafka的高可用和一致性探究

一、kafka基础    本篇文章讨论的kafka版本是目前最新版 0.10.1.0。 1.1 kafka种的KafkaController      所有broker会通过ZooKeeper选举出一个作为KafkaController ...
kafkazookeeper高可用一致性多线程 
农村外出务工男JAVA 评论(0) 有1194人浏览 2016-12-29 16:45

storm kafka hdfs 详细

     package com.curiousby.baoyou.cn.storm; import java.util.UUID; import org.apache.storm.hdfs.bolt.HdfsBolt; import org.apache.storm.hdfs.bolt.format.DefaultFileNameFormat; import org. ...
stormkafkahadoophdfsredis 
knight_black_bob 评论(0) 有2276人浏览 2016-12-29 10:32

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建

http://www.cnblogs.com/likehua/p/3999538.html
Kafka 
hellogood 评论(0) 有301人浏览 2016-12-28 22:56

kafka 笔记

kafka笔记  1/kafka是一个分布式的消息缓存系统 2/kafka集群中的服务器都叫做broker 3/kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接 4/kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载 5/每 ...
kafka 
baoliangquan 评论(0) 有339人浏览 2016-12-23 23:14

kafka-storm 详细

          kafka storm 安装： http://knight-black-bob.iteye.com/blog/2343192   15.安装kafka cd /usr/local/ wget http://mirror.bit.edu.cn/apache/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz tar xf kafka ...
stormkafka 
knight_black_bob 评论(0) 有1385人浏览 2016-12-19 15:33

kafka的Windows搭建及单机测试

         为了便于以后记忆，在这里把kafka在Windows的搭建方法和单机测试代码复制到了自己的博客里，分别参考的文章路径为http://www.cnblogs.com/alvingofast/p/kafka_deployment_on_windows.html和http://chengjianxiaoxue.iteye.com/blog/2190488。以下是部分的复制内容。 搭建 ...
javakafka 
357029540 评论(0) 有3525人浏览 2016-12-13 10:00

Exception in thread "Thread-0" kafka.common.FailedToSendMessageException: Failed

       用Windows初次使用kafka搭建本地测试项目的时候，由于没有经验在启动zookeeper服务后，然而由于没有启动kafka的服务于是就出现了如下的错误： Exception in thread "Thread-0" kafka.common.FailedToSendMessageException: Failed to send messages afte ...
Javakafka 
357029540 评论(0) 有2031人浏览 2016-12-13 09:36

kafka spring 实例

kafka  spring    demo 下载：http://download.csdn.net/download/knight_black_bob/9709057     安装详解 ：http://knight-black-bob.iteye.com/blog/2343192    使用定时器发送后  结果如下         kafka 代码安装  15.安装kafk ...
kafkaspring配置 
knight_black_bob 评论(0) 有4023人浏览 2016-12-12 16:07

spark streaming 与 kafka 集成测试

版本： kafka：2.11 spark：2.0.2 测试过程： 1、开发spark streaming程序，读取kafka队列数据，并进行处理； 2、启动spark、zookeeper及kafka； 3、启动log4j输出到kafka的程序，先用kafka receive console程序验证其正确性； 4、启动spark streaming程序，观察执行效果，启动命令如下： ...
kafkaspark streaming 
jackiee_cn 评论(0) 有5286人浏览 2016-11-22 11:26

[转]Kafka文件存储机制那些事

转自：http://blog.jobbole.com/89174/ Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 1.前言 一个商业 ...
kafka
CurrentJ 评论(0) 有539人浏览 2016-11-10 10:46

kafka 常用命令

查看当前服务器中的所有topicbin/kafka-topics.sh --list --zookeeper  amie01:2181 创建topicbin/kafka-topics.sh --create --zookeeper amie01:2181 --replication-factor 3 --partitions 3 --topic myTopic 删除topicsh bin/ka ...
kafka 
arual 评论(0) 有425人浏览 2016-11-06 21:06

Kafka 简记

引言 接触一门新的开源项目，最关键就是了解其特性和理解中间的设计原理。但在面对庞大的设计官档或者源码的并且又没人指导的时候，总是会让 ...
kafka 
mdxdjh2 评论(0) 有840人浏览 2016-10-29 01:17

解决flume向kafka发送 均分到各个partition中

官网中虽然说没有key 会随机分配到partition,但是不知道为什么在我这没有出现这种效果,所以我加了一个key,需要加个source拦截器 运行flume-ng agent --conf conf --conf-file test.sh --name a1 -Dflume.root.logger=INFO,console   # example.conf: A single-node ...
flumekafka均分partition 
indinna 评论(0) 有1778人浏览 2016-10-13 17:11

Kafka

Kafka 消息队列MQ技术的一种应用 kafka的构架： 1.Brocker：Kafka集群包含一个或多个服务器，这种服务器被称为broker。生产者向Brocker发送事件，消费者从Brocker中拿事件 2.Topic：可以将topic看成是一个消息队列，每个事件都必须指定其要存在在哪个topic中（这里倒是可以当成事件的分类来看待）， topic是存在于brocker之中的 3.Pa ...
Kafka 
huangyongxing310 评论(0) 有918人浏览 2016-09-10 10:33

kafka与spark应用

kafka主要是用来做日志收集，可以收集用户的流量，点击行为，kafka目前版本是1.0的，其0.9的版本坑特别多，推荐大家使用0.8.2.1版本，正是spark1.6.2集成的kafka版本，非常稳定。以下是本人录制的spark与kafka做实时流计算的视频课程。 1、spark与kafka的介绍 2、spark的集群安装 3、Spark RDD函数讲解与实战分析 4、Spark 的java操作实 ...
sparkkafkaspark+kafka实时流计算 
smart152829 评论(0) 有737人浏览 2016-09-01 08:48

spark+kafka实时流机器学习

kafka主要是用来做日志收集，可以收集用户的流量，点击行为，kafka目前版本是1.0的，其0.9的版本坑特别多，推荐大家使用0.8.2.1版本，正是spark1.6.2集成的kafka版本  大家可以去大象在线分享看看夜行侠老师的spark视频   http://www.itjoin.org/course/detail/57aa8938b52a8f0ddbd81763
sparkkafka 
smart152829 评论(0) 有473人浏览 2016-08-31 10:11

(十六) Nepxion-Thunder分布式RPC集成框架 - Spring Boot + Docker部署

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/   实例代码在工程nepxion-thunder-spring-boot-docker下 Spring Boot 1. Spring Boot实例代码     有三 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有3243人浏览 2016-08-30 11:20

最近博客热门TAG

Java(141746) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics