`
baobeituping
  • 浏览: 1068510 次
  • 性别: Icon_minigender_1
  • 来自: 长沙
社区版块
存档分类
最新评论

Windows平台kafka环境的搭建

 
阅读更多

注意:请确保本地Java环境变量配置成功

1.安装Zookeeper 
Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper 
1.1 下载安装文件: http://mirror.bit.edu.cn/apache/zookeeper/ 
1.2 解压文件(本文解压到 D:\zookeeper-3.4.8) 
1.3 打开D:\zookeeper-3.4.8\conf,把zoo_sample.cfg重命名成zoo.cfg 
1.4 从文本编辑器里打开zoo.cfg 
1.5 修改dataDir和dataLogDir保存路径 
dataDir=D:\data\logs\zookeeper 
dataLogDir=D:\data\logs\zookeeper 
1.6 添加如下系统变量:ZOOKEEPER_HOME: D:\zookeeper-3.4.8 
Path: 在现有的值后面添加 ;%ZOOKEEPER_HOME%\bin; 
1.7 运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口。 
这里写图片描述

2.安装并运行Kafka 
2.1 下载安装文件: http://kafka.apache.org/downloads.html 
2.2 解压文件(本文解压到 D:\kafka_2.11-0.10.2.0) 
2.3 打开D:\kafka_2.11-0.10.2.0\config\ server.properties 
2.4 把 log.dirs的值改成 log.dirs=D:\data\logs\kafka 
2.5 D:\kafka_2.11-0.10.2.0\bin文件夹下的.sh命令脚本是在shell下运行的,此文件夹下还有个 windows文件夹,里面是windows下运行的.bat命令脚本 
2.6 在D:\kafka_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口 
2.7 输入并执行一下命令以打开kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

显示的信息如下,则表示正常运行 

这里写图片描述

 

在Windows端安装kafka 提示错误: 找不到或无法加载主类 的解决方案

  1. 在配置好kafka的server.properties文件后,cmd进入命令窗口输入命令:.\bin\windows\kafka-server-start.bat config\server.properties提示错误:错误: 找不到或无法加载主类 Files\Java\jdk1.7.0_80\lib;C:\Program 解决方式如下:在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到142行为%CLASSPATH%加上双引号

修改前: 
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %* 
修改后: 
set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

3.创建topics 
3.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
  • 1

4.打开一个Producer 
4.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-producer.bat --broker-list localhost:9092 --topic test
  • 1

5.打开一个Consumer 
5.1在D:\kafka_2.11-0.10.2.0\bin\windows文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
  • 1

注意:以上打开的窗口不要关闭 
然后就可以在Producer控制台窗口输入消息了。在消息输入过后,很快Consumer窗口就会显示出Producer发送的消息: 
这里写图片描述

分享到:
评论

相关推荐

    windows搭建kafka环境

    在Windows系统中搭建Kafka环境涉及多个步骤,包括下载、解压、修改配置文件和修改启动文件。本指南将帮助初学者一步步完成搭建过程。 一、下载并解压Kafka 首先,前往Apache Kafka的官方网站下载最新版本的Kafka二...

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    在分布式环境中,通常需要多台服务器来运行Kafka集群,但为了测试或学习目的,可以使用单机上的伪分布式设置,这使得开发者能够在本地环境中快速搭建Kafka实例,而无需复杂的网络配置。 标签中的“kafka”、...

    kafka环境搭建

    ### Kafka环境搭建详解 #### 一、概述 Apache Kafka 是一款分布式的流处理平台,具有高吞吐量、低延迟等特点,广泛应用于日志收集、流处理和消息系统等领域。本文将详细介绍如何在Windows和Linux环境下搭建Kafka...

    windows的kafka配置及c++工程.zip

    本资源是windows下kafka的环境配置及c++实现的kafka的producer相关代码,启动后可以测试c++的producer发送消息可以在windows下启动的kafka的customer接收消息。

    kafka搭建windows版本单机环境

    在本文中,我们将深入探讨如何在Windows操作系统上搭建Apache Kafka的单机环境。Apache Kafka是一款分布式流处理平台,常用于构建实时数据管道和流应用。Kafka以其高吞吐量、低延迟和容错性而著称,是大数据领域的...

    快速部署单机kafka集群(win环境)

    另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过...

    自己搭建的Kafka开发环境

    自己搭建的kafka开发环境,其中会参考其他的文档《03_重新设置maven的本地库位置...这个开发环境的搭建包括Kafka集群,zookeeper集群的搭建,开发环境是搭建在windows中的eclipse,在eclipse中开发的代码可以直接运行。

    windows下安装kafka需要的zookeeper-3.4.6

    在Windows上安装和配置Zookeeper-3.4.6是搭建Kafka环境的基础步骤。理解Zookeeper的角色和功能有助于更好地管理和优化Kafka集群。通过上述步骤,你可以成功地在本地环境中运行Zookeeper,并为Kafka提供必要的支持。...

    windows10+kafka本地环境

    在Windows 10环境下搭建Apache Kafka是一个常见的任务,特别是在进行大数据处理、实时流计算或微服务架构开发时。Apache Kafka是一款分布式流处理平台,由LinkedIn开源,并被广泛应用于数据集成、消息传递和实时分析...

    kafka分布式集群搭建

    ### Kafka分布式集群搭建详解 #### 一、概述 Kafka是一种高性能、分布式的消息发布与订阅系统,被广泛应用于日志收集、流处理、消息传递等多个领域。为了提高系统的可用性与扩展性,通常会采用分布式集群的方式...

    windows环境搭建调用链监控 spring cloud+es+kafka+zipkin

    在Windows环境下,我们将部署Zipkin Server,它负责收集通过Kafka传递过来的调用链数据,并存储到Elasticsearch中,然后提供查询接口供用户分析。 **搭建步骤** 1. **安装JDK**:所有组件都需要Java运行环境,所以...

    kafka搭建单机windows_单机linux_集群linux操作.rar

    ### Windows单机环境搭建 1. **下载安装Java运行环境(JRE)**:Kafka依赖Java,因此首先确保你的系统已经安装了JDK或者JRE,并且`JAVA_HOME`环境变量已经设置正确。 2. **下载Kafka**:从Apache官网下载最新稳定...

    linux平台centos7系统 - ELK+logback+kafka+nginx 搭建分布式日志分析平台.doc

    【Linux平台CentOS7系统 - ELK+logback+kafka+nginx搭建分布式日志分析平台】 在复杂的IT环境中,日志管理和分析对于诊断问题、优化性能以及确保系统稳定性至关重要。ELK栈(Elasticsearch、Logstash、Kibana)正是...

    kafka环境搭建(windows环境下)-附件资源

    kafka环境搭建(windows环境下)-附件资源

    专栏大数据中windows下搭建kafka集群中需要用到的安装包

    在Windows环境下搭建Kafka集群可以帮助开发者在本地环境中快速测试和开发相关的流处理应用。以下是一份详细的步骤指南,帮助你了解如何在Windows上安装并运行Kafka集群。 1. **获取和解压Kafka** 首先,你需要从...

Global site tag (gtag.js) - Google Analytics