博客首页 → kafka

最新文章列表

Kafka、RabbitMQ、RocketMQ消息中间件的对比 | 消息发送性能篇

分布式系统中，我们广泛运用消息中间件进行系统间的数据交换，便于异步解耦。现在开源的消息中间件有很多，前段时间我们自家的产品 RocketMQ (阿里云消息队列(MQ)的内核) 也顺利开源，得到大家的关注。
KafkaRabbitMQRocketMQ 
骑猪逛街666 评论(0) 有721人浏览 2017-08-22 16:19

基础概念及安装

KAFKA 一、概念 Kafka是一个分布式的、可分区的、可复制的消息系统。 Kafka将消息以topic为单位进行归纳。 将向Kafka topic发布消息的程序称为producers. 将预 ...
kafka 
mingyun 评论(0) 有309人浏览 2017-08-20 10:21

在kafka单服务器的情况下消费者端如何确定服务器是否启动

            在kafka集群的单服务器情况下，如何通过consumer消费者确定kafka服务器或者zookeeper服务器是否启动(因为消费者目前是无法判断服务器是否启动的，它只是去轮询获取服务器数据而不报错)，如果没有启动，消费者端做出相应的操作来提醒消费者端使用人员进行维护，在这里我提供一个简单的解决方案，可能并不是非常通用，提供一个简单的思路而已。          如果k ...
kafkakafka集群没有启动 
357029540 评论(0) 有2863人浏览 2017-07-28 10:44

bboss kafka组件使用介绍

bboss kafka组件使用介绍 本文使用的实例对应的gradle源码工程git访问地址： http://git.oschina.net/bboss/bestpractice testkafka子工程地址 http://git.oschina.net/bboss/bestpractice/tree/master/testkafka bboss kafka组件作用 快速配置kafka客户端和消费者 ...
bbosskafka 
yin_bp 评论(0) 有1320人浏览 2017-07-22 14:03

kafka + flume + hdfs + zookeeper + spark 测试环境搭建

最近由于项目需要， 搭建了一个类似线上环境的处理流数据的环境 用的是CDH 版本5.9.x hdfs组成： 2 namenode HA, 6 datanode kafka： 3 台kafka server zookeeper： 3台 flume： 1台 spark： 6台 每台32G内存 数据流程是有远端终端向我们数据处理服务器（Gengo）发送， 再由Gengo向kafka还有flume发送 ...
Hadoopsparkkafkazookeeperflume 
humingminghz 评论(0) 有1091人浏览 2017-07-20 11:28

ELK+kafka集成

1、因为本项目采用的log4j2，所以在log4j2中直接配置 <Kafka name="Kafka" topic="XX_log"> <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss}||%p||%c{1}||XX_web||%m%n"/> ...
ESlogstashkafkakibana 
WAMING5 评论(1) 有2482人浏览 2017-07-13 11:51

spring cloud stream kafka

pom.xml <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.4.RELEASE</version> ...
spring cloud streamkafka 
xiangdong_li 评论(0) 有791人浏览 2017-07-07 14:44

kafka多网卡配置

############################################################################# # This is the configuration of the network card. You need to configure # the main network card and the local network ca ...
kafka多网卡配置 
vicbaily528 评论(0) 有2399人浏览 2017-07-07 14:35

kafka虚机设置网卡

############################################################################# # This is the configuration of the network card. You need to configure # the main network card and the local network ca ...
kafka虚机多网卡 
xiangdong_li 评论(0) 有627人浏览 2017-07-07 14:32

Kafka相关问题

1.Kafka独特设计在什么地方？ 2.Kafka如何搭建及创建topic、发送消息、消费消息？ 3.如何编写KafkaJava程序？ 4.数据传输的事务定义有哪三种？ 5.Kafka判断一个节点是否活着有哪两个条件？ 6.producer是否直接将数据发送到broker的leader(主节点)？ 7.Kafka consumer是否可以消费指定分区消息？ 8.Kafka消息是采用Pull模式，还是 ...
apache kafkakafka 
lizhuang 评论(0) 有576人浏览 2017-06-30 18:30

kafka10.0.2.0生产服务器主要配置参考

JDK版本最好是采用1.8.x最新版本。1.7可能会引发一些bug。 # ZooKeeper zookeeper.connect=[list of ZooKeeper servers] # Log configuration num.partitions=8 default.replication.factor=3 log.dir=[List of directories. ...
apache kafkakafka 
lizhuang 评论(0) 有416人浏览 2017-06-30 11:56

apache kafka0.10.20 搭建简单环境并运行javaDemo

官网下载apache kafka 0.10.20版本，本例子基于jdk1.8环境,mac os el captain. 第一步:下载0.10.2.0压缩包，解压缩 官网http://kafka.apache.org/下载 > tar -xzf kafka_2.11-0.10.2.0.tgz > cd kafka_2.11-0.10.2.0 第二步 启动服务器 启动zookeeper服 ...
apache kafkakafka 
lizhuang 评论(0) 有578人浏览 2017-06-28 12:08

kafka与spring的整合

首先导入两个包： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.0.0</version> </dependency> ...
kafka 
红领巾丶 评论(0) 有856人浏览 2017-06-20 15:43

kafka的简单实用

首先maven导入kafka的包： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.10.0.0</version> </dependenc ...
kafka 
红领巾丶 评论(0) 有325人浏览 2017-06-20 15:06

Kafka的三种消费模式

自动提交offset      以下实例代码展示了如何自动提交topic的offset： public void autoOffsetCommit() {    Properties props = new Properties();    props.put(" ...
kafkaconsumer 
amazon10 评论(0) 有13556人浏览 2017-06-01 15:44

kafkacat

kafkacat是一款非常好用的kafka工具，可以查看kafka相关的信息，比如topic信息，查看消息等等 项目地址：https://github.com/edenhill/kafkacat 用法示例： kafkacat -b jx-op-kafka03.xx.com:9092 -C -t app-00-log -f 'Topic %t [%p] at offset %o: key %k ...
kafka 
lishichang 评论(0) 有1707人浏览 2017-05-26 14:20

zookeeper 搭建笔录

zookeeper-3.4.9.tar.gz 单机模式 点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:   1. tickTime=2000      2. dat ...
kafka 
huluyisheng 评论(0) 有327人浏览 2017-05-16 20:00

kafka搭建笔录

3、安装kafka wget https://archive.apache.org/dist/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz tar -zxvf kafka_2.8.0-0.8.0.tar.gz 配置kafka,修改文件server.properties vim server.properties broker.id=0 listeners=PLA ...
kafka 
huluyisheng 评论(0) 有297人浏览 2017-05-16 19:55

KafKa介绍（分布式架构）

介绍 Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？ ...
spring mvc+my batisdubbo+zookeeperkafkarestful redis分布式缓存 
欢乐人生 评论(0) 有21人浏览 2017-05-12 16:48

基于redis分布式缓存实现

第一：Redis 是什么？ Redis是基于内存、可持久化的日志型、Key-Value数据库 高性能存储系统，并提供多种语言的API. 第二：出现背景 数据结构(Data Structure)需求越来越多, 但memcache中没有, 影响开发效率 性能需求, 随着读操作的量的上升需要解决，经历的过程有: 数据库读写分离(M/S)–>数据库使用多个Slave–>增加Cache ...
spring mvc+my batisdubbo+zookeeperkafkarestful redis分布式缓存 
欢乐人生 评论(0) 有16人浏览 2017-05-12 16:45

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics