博客首页 → kafka

最新文章列表

kafka主题消费积压问题总结

  故障描述： 12月6日下午运维反馈说，某个主题的一个分区消费积压，由于这个主题非常重要，且已经有用户投诉所以运维很紧张，紧急打印堆栈并Dump堆内存后，就重启了这台机器。   故障分析1： 消费这个主题的集群的业务逻辑相对比较简单，主要就是读取某些主题，然后逻辑判断+DB操作后，分流写入到另外某些主题。运维通过kafka监控平台找到积压的主题，发现主题的某个分区积压了几万消息后，找 ...
kafkamysql 
murray2081 评论(0) 有10693人浏览 2017-12-09 23:43

kafka版本不一致导致的一个小问题（二）

背景介绍： 我们公司的实时流项目现在用的spark streaming比较多，这里在介绍下版本： spark streaming2.1.0 kafka 0.9.0.0 spark streaming如果想要集成kafka使用时，必须得使用spark官网提供的依赖包，目前有两种大的kafka分支依赖集成包，他们的一些信息如下： 描述信息 | spark-streaming-kafka ...
sparkkafka 
qindongliang1922 评论(0) 有8567人浏览 2017-12-04 21:37

Kafka环境的搭建(Windows）

1、安装JDK 2、安装Zookeeper Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper  2.1、下载安装文件（zookeeper-3.4.9）： http://mirror.bit.edu.cn/apache/zookeeper/ 2.2、解压zookeeper-3.4.9（解压到 E:\develop\Kafka\zookeepe ...
kafkazookeeper 
tzz6 评论(1) 有3479人浏览 2017-11-29 09:19

关于kafka连接的一个小问题

最近有一个项目中用到了java api连接kafka的代码，原来测试的时候：bootstrap.servers这个值一直写的是ip，然后生产和消费数据都没有问题，但在预发测试的时候配合运维的需求，把ip要改成域名来访问，结果就启动就出问题了，启动不起来，抛出的异常如下： DNS resolution failed for url in ....... 我们的kafka的版本是apac ...
kafka 
qindongliang1922 评论(0) 有2152人浏览 2017-11-22 17:50

（二）构建dubbo分布式平台-平台功能导图

上一篇我们介绍了构建dubbo分布式平台的技术选型、目标、特点、独立服务项目等，今天针对于独立服务项目提供平台功能导图，也是我们未来逐步研发的功能。   我这边不做多介绍，直接上图了：    下面的章节中，我们会针对于不同的平台提供不同的解决方案和实施步骤，会详细记录每一个细节点，希望能够帮助大家一起学习！  
分布式消息kafkadubbo springdubbo zookeeper企业分布式架构 
天空晴朗 评论(0) 有1433人浏览 2017-11-22 13:17

Spring 初探（5） kafka

前期测试准备: zookeeper安装，kafka安装 kafka: 1.启动： kafka-server-start.bat ./../../config/server.properties 2.创建topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --t ...
springkafka 
叶子_it 评论(0) 有836人浏览 2017-10-27 11:18

kafka Connect导入/导出数据

Kafka目录结构：http://donald-draper.iteye.com/blog/2396760 Kafka配置文件：http://donald-draper.iteye.com/blog/2397000 Kafka Standy模式、创建主题，生产消费消息：http://donald-draper.iteye.com/blog/2397170 Kafka 集群环境搭建：http://do ...
kafka 
Donald_Draper 评论(0) 有7149人浏览 2017-10-23 12:44

Kafka 集群环境搭建

Kafka目录结构：http://donald-draper.iteye.com/blog/2396760 Kafka配置文件：http://donald-draper.iteye.com/blog/2397000 Kafka Standy模式、创建主题，生产消费消息：http://donald-draper.iteye.com/blog/2397170 上一篇文章，我们启动kafka的standy ...
kafka 
Donald_Draper 评论(0) 有5691人浏览 2017-10-22 23:15

Kafka Standy模式、创建主题，生产消费消息

Kafka配置文件：http://donald-draper.iteye.com/blog/2397000 Quickstart:http://kafka.apache.org/quickstart 上面我们简单看了一下kafka的相关配置，今天我们启动standy模式的kafka，即单机版，并使用相关命令创建topic， 生产消息和消费消息。 1.下载kafka [donald@Donald_Dr ...
kafka 
Donald_Draper 评论(0) 有5474人浏览 2017-10-21 17:56

Kafka配置文件

Kafka目录结构：http://donald-draper.iteye.com/blog/2396760 上面我们kafka的目录结构，今天来看一下kafka的相关配置文件，由于鄙人当前kafka的知识的局限性， 配置文件中可能有一定的错误，有，我们日后再改。 [donald@Donald_Draper ~]$ ls Desktop Documents Downloads kafka_2. ...
kafka 
Donald_Draper 评论(0) 有3046人浏览 2017-10-19 22:39

KafKa集群安装详细步骤

最近在使用Spring Cloud进行分布式微服务搭建，顺便对集成KafKa的方案做了一些总结，今天详细介绍一下KafKa集群安装过程：   1. 在根目录创建kafka文件夹（service1、service2、service3都创建） [root@localhost /]# mkdir kafka   2.通过Xshell上传文件到service1服务器：上传kafka_2.9.2- ...
kafkaspring cloud kafkaspring boot kafka分布式消息中间件Spring mvc mybatis plus 
springcloud关注者 评论(6) 有1959人浏览 2017-10-19 22:37

KafKa服务搭建

事先安装好zookeeper   1.下载kafka：http://kafka.apache.org/downloads.html 这里我下载的是kafka_2.11-0.11.0.1.tgz   2.解压 tar -xzf kafka_2.11-0.11.0.1.tgz 解压后的目录结构   3.修改配置config/server.properties 主要修改： b ...
kafka
Javahuhui 评论(0) 有337人浏览 2017-10-19 16:26

Kafka目录结构

Kafka背景及架构介绍:http://www.infoq.com/cn/articles/kafka-analysis-part-1/ kafka中文教程:http://orchome.com/kafka/index Introduction:http://kafka.apache.org/intro Quickstart:http://kafka.ap ...
kafka 
Donald_Draper 评论(0) 有2577人浏览 2017-10-18 12:33

kafka lag 监控脚本

  shell脚本获取lag值   [root@tingyun-kafka-01 zabbix]# cat kafka-lag.sh #!/bin/sh #power by gaoyh@tingyun.com zookeeper_server=192.168.110.12:2181,192.168.110.13:2181,192.168.110.14:2181,192.168 ...
kafka
gaoyaohuachina 评论(1) 有1570人浏览 2017-10-16 16:40

kafka使用过程中遇到的问题

1消费端的不消费 消费端有一个配置，叫 fetch.message.max.bytes，默认是1M，此时如果有消息大于1M，会发生停止消费的情况。 此时，在配置中增加 props.put("fetch.message.max.bytes", "10485760"); 即可 异常ConsumerRebalanceFailedException 确保 rebala ...
kafka 
lsh2366254 评论(0) 有724人浏览 2017-10-08 17:21

kafka 删除 topic

  kafka 删除topic 提示marked for deletion   [html] view plain copy   [root@logSer config]# kafka-topics.sh --delete --zookeeper localhost:2181 --topic test-group        
kafkatopic 
双子星世界 评论(0) 有574人浏览 2017-10-07 17:06

Spark整合Kafka小项目

SparkStreaming与kafka整合小项目实践含所有代码带详细注释   总流程：自制日志生成器生成含数据日志，使用kafkaAppender直接发送到kafka，SparkStreaming从kafka消费日志，并流式处理将结果发送到kafka另一个topic，Java后台从kafka消费日志分析结果，实现秒级大数据实时分析展示。   版本 kafka_2.11-0.11.0.1 ...
kafkaspark日志解析sparkstream 
让随着风飘 评论(0) 有2775人浏览 2017-09-29 22:22

Storm实时读取Kafka

利用Storm的实时处理功能，从Kafka中读取消息，将消息合并后并打印（依次输入hello world .） Storm版本：1.1.1 Kafka版本：2.12-0.11.0.0 Zookeeper版本：3.4.9 1、Kafka配置 server.properties文件修改 #发布外网ip advertised.listeners=PLAINTEXT://*.*.*.*:9 ...
stormkafka大数据 
theseus 评论(0) 有1806人浏览 2017-09-08 11:09

python连接kafka

       思路的：        往kafka的集群写，        往zk的读        开始肯定去找python连接kafka的标准库，kafka-python和pykafka 前者使用的人多是比较 ...
kafka 
ronin47 评论(0) 有1291人浏览 2017-08-25 10:27

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics