博客首页 → kafka

最新文章列表

Centos7 部署 Kafka 集群

概述 Kafka特性： 1、高吞吐量、低延迟：Kafka每秒可以处理几十万条消息，他的延迟最低只有几毫秒 2、每个topic可以分多个partition,consumer group 对partition进行consume操作 3、可扩展性：kafka集群支持热扩展 4、持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失 5、容错性：允许集群中节点失败（若副本数量为n,则允许n ...
kafka 
maosheng 评论(0) 有960人浏览 2016-06-06 15:08

15、Spark Streaming源码解读之No Receivers彻底思考

版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明，否则将追究法律责任。 在前几期文章里讲了带Receiver的Spark Streaming 应用的相关源码解读，但是现在开发Spark Streaming的应用越来越多的采用No Receivers（Direct Approach）的方式，No Receiver的方式的优势： 1. 更强的 ...
Spark StreamingSparkReceiverKafkaDStream 
zhou_yuefei 评论(0) 有1318人浏览 2016-06-03 09:07

第12课：Spark Streaming源码解读之Executor容错安全性

一、Spark Streaming 数据安全性的考虑： Spark Streaming不断的接收数据，并且不断的产生Job，不断的提交Job给集群运行。所以这就涉及到一个非常重要的问题数据安全性。 Spark Streaming是基于Spark Core之上的，如果能够确保数据安全可好的话，在Spark Streaming生成Job的时候里面是基于RDD，即使运行的时候出现问题，那么Sp ...
spark Streaming数据安全KafkaExecutorReceiver 
zhou_yuefei 评论(0) 有668人浏览 2016-05-28 23:22

Apache顶级项目介绍2－Kafka

      Apache顶级项目介绍系列－1，我们从Kafka说起。why？流行 ＋ 名字cool。 Kafka官网是见过比较简单，直叙的网站，“kafka是一个高吞吐的分布式的消息系统”。 Kafka最初起家于LinkedIn，当时原本作为linkedin用来管理活动流(PV,用户行为分析，搜索情况)和运营数据处理的pipline的基础。 因为其分布式以及高吞吐被广泛使用，如与Clo ...
HadoopSparkKafkaZookeeper 
erixhao 评论(0) 有561人浏览 2016-05-28 11:05

初尝Apache之kafka

一、环境准备：        下载kafka官方安装包：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz         获取最新的下载包： http://kafka.apache.org/downloads.html         服务器使用：centos7  jdk1.8或者 ...
kafkaapache kafkakafka安装kafka使用 
wkm 评论(0) 有2539人浏览 2016-05-27 11:26

Kafka0.10新特性

5月23日Confluent官方宣布Apache Kafka 0.10正式发布。该版本包含了很多新功能和优化，这里列出比较重要的几项：   Streams 如果你有这样的需求，从Kafka拉取数据进行流处理然后再推送回Kafka，那么你会喜欢0.10的Kafka Streams。Kafka Streams是一个类库，它实现了一系列流处理动作（例如join，filter，aggregate ...
kafka0.10 
kane_xie 评论(0) 有5137人浏览 2016-05-26 22:40

Apache Kafka：下一代分布式消息系统

    简介 Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它被设计为一个分布式系统，易于向外扩展； 它同时为发布和订阅提供高吞吐量； 它支持多订阅者，当失败 ...
Kafka分布式 
scofield-007 评论(0) 有354人浏览 2016-05-11 17:29

kafka producer线程与吞吐量

1.问题背景 kafka是以高吞吐量著称的，但日前解决一个实际问题中，发现使用不当仍会无法充分利用起吞吐量。我们的场景如下： 有两个kafka集群，需要从上游kafka读一个topic的消息，做一些自定义处理，再写到下游kafka的特定topic（有人说用flume，确实可以，不过自定义处理比较复杂的时候用flume就有点麻烦了） 这里集中在写这一端（读没有问题），开始使用最简单的方式，配 ...
kafka 
distantlight1 评论(0) 有18789人浏览 2016-04-26 16:06

Kafka 0.9 Coordinator的负载均衡实现

最近在研究kafka，本着先理清框架脉络，再看细节实现的想法，先抱着文档一阵猛看，本来以为Coordinator和Controller的流程基本一样，选举一个Coordinator为主来接收Consumer的分配。哪知后来看了下源码，坑爹呢，选举去哪了: KafkaServer.scala /* start kafka coordinator */ consumerCoordinator ...
Kafka 
alchimie 评论(0) 有1420人浏览 2016-04-21 20:27

Kafka MirrorMaker实践

最近准备使用Kafka Mirrormaker做两个数据中心的数据同步，以下是一些要点：   mirrormaker必须提供一个或多个consumer配置，一个producer配置，一个whitelist或一个blacklist（支持java正则表达式） 启动多个mirrormaker进程，单个进程启动多个consuemr streams， 可以提高吞吐量和提供容 mirrormaker ...
kafkamirrormaker 
kane_xie 评论(0) 有4019人浏览 2016-04-20 17:35

(十五) Nepxion-Thunder分布式RPC集成框架 - 序列化

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/  框架支持两种方式的序列化，Java对象和字节数组的序列化和反序列化，Java对象和Json字符串的转换  1）binary - Java实体类和字节数组的序列化/反序列化2）compression - 对binary模块运行结果的压缩/解压3）json - Java实 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(2) 有2285人浏览 2016-04-18 13:50

nginx+lua+kafka实现日志统一收集汇总

转载请注明出处:http://hot66hot.iteye.com/blog/2291916一:场景描述对于线上大流量服务或者需要上报日志的nginx服务，每天会产生大量的日志，这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上，而且大流量日志本身对磁盘也是一种冲击。我们需要把这部分nginx日志统一收集汇总起来 ...
nginxluakafka 
hot66hot 评论(3) 有19169人浏览 2016-04-17 15:53

RabbitMq、ActiveMq、ZeroMq、kafka之间关资料及RabbitMq安装配置

http://blog.csdn.net/linsongbin1/article/details/47781187  (原文) http://blog.csdn.net/jacman/article/details/50261915  http://www.ibm.com/developerworks/cn/opensource/os-cn-RabbitMQ/ (rabbitM ...
activemqkafkazeroMqrabbitMq 
yjph83 评论(0) 有768人浏览 2016-04-12 15:50

Kafka深度解析

背景介绍 Kafka简介 　　Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即 ...
kafka 
ronin47 评论(0) 有511人浏览 2016-04-07 09:02

kafka 学习笔记(二) java客户端代码

在学习笔记(一)中，讲解了kafka的安装、部署、以及bash下进行的一些简单操作，而这次将学习kafka的java客户端代码。   1、jar包。 在maven上，我们有两种apache kafka提供的jar包： <dependency> <groupId>org.apache.kafka</groupId> <artifactId& ...
kafka 
zk_chs 评论(0) 有3648人浏览 2016-04-03 01:18

(十四) Nepxion-Thunder分布式RPC集成框架 - 调用链

Nepxion-Thunder（QQ 群 471164539）发布在https://github.com/Nepxion/ 调用链根据单端和多端分成两种方式 单端链式调用 多端跨进程调用链 单端链式调用 基 ...
NettyHessianKafkaRedisDocker 
nepxion 评论(0) 有2292人浏览 2016-04-02 22:46

Kafka 0.9+Zookeeper3.4.6集群搭建、配置，新Client API的使用要点，高可用性测试，以及各种坑

Kafka 0.9版本对java client的api做出了较大调整，本文主要总结了Kafka 0.9在集群搭建、高可用性、新API方面的相关过程和细节，以及本人在安装调试过程中踩出的各种坑。   关于Kafka的结构、功能、特点、适用场景等，网上到处都是，我就不再赘述了，直接进入正文   Kafka 0.9集群安装配置   操作系统：CentOS 6.5     1. 安装J ...
kafka高可用java消息zookeeper 
kelgon 评论(4) 有12518人浏览 2016-04-01 11:57

kafka 学习笔记(一) 安装、部署

kafka是一个高吞吐量的分布式消息系统，整体设计为典型的发布与订阅模式。kafka内部采用zookeeper来解决配置管理、通知/协调、集群管理、master选举等问题，所以建议先对zookeeper有个基本的了解，可以看下我的zookeeper笔记(一)。   这次对于kafka只介绍一下命令行下的安装部署等操作，其它的，比如kafka在zookeeper中的存储结构、配置详解、java ...
kafka 
zk_chs 评论(0) 有5513人浏览 2016-04-01 00:14

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics