`

kafka单机模式部署安装,zookeeper启动

 
阅读更多
在root的用户下

1):前提 安装JDK环境,设置JAVA环境变量

2):下载kafka,命令:wget  http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz

3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

4):然后去解压zookeeper包,我把zookeeper-3.4.10文件夹名称改为了zookeeper ,首先找到conf的文件夹,然后备份一份zoo_sample.cfg文件 ,备份名为zoo.cfg

命令:cp zoo_sample.cfg  zoo.cfg

5):打开zoo.cfg的文件

     命  令 :vim zoo.cfg  

dataDir=/tmp/zookeeper  (虽然给出这个路径给你,但是系统并没有,要你自己创建的,你可以不按这个路径)
dataLogDir=/tmp/zookeeperlog (这是我另外夹的用来存放日志文件)

6):启动 zookeeper

root@debian8:/usr/local/zookeeper# 命令 :     bin/zkServer.sh start



7)解压kafka的包,我把kafka_2.10-0.10.2.1文件夹名称改为了kafka,到config路径下找到 server.properties 

  找到log.dirs=/tmp/kafka-logs (跟刚刚zookeper一样创建)

        listeners(所在机器ip地址)我这里是本地,不管它

8):启动kafka

命令:nohup bin/kafka-server-start.sh config/server.properties & > nohup.out

进程守护模式启动kafka
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

运行之后不管成功否它都会在你的kafka包下生成一个 nohup.out的文件

9): 查看是否成功了

新建一个topic
命令:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic是否成功
命令:bin/kafka-topics.sh --list --zookeeper localhost:2181

10):把kafka的生产者启动来

命令 :bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

11):另开一个终端(创建新的),把消费者启动起来:

命令:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning



12):在生产者终端输入数据,消费者马上就会消费显示出来
分享到:
评论

相关推荐

    kubernetes 部署单机版Kafka、zookeeper

    在本文中,我们将深入探讨如何在Kubernetes集群中部署单机版的Apache Kafka和ZooKeeper,这两个组件是大数据处理和消息传递领域的关键组件。Kubernetes(简称K8s)作为一个自动化容器管理系统,使得在云环境中部署、...

    kafka单机版安装部署手册1

    kafka单机版安装部署手册1 在本手册中,我们将指导您如何在单机上安装和部署 Apache Kafka。Kafka 是一个分布式流媒体平台,用于构建实时数据管道和事件驱动架构。 安装 ZooKeeper 首先,我们需要安装 ZooKeeper...

    kafka单机版自动安装shell脚本

    Kafka单机版自动安装Shell脚本是一个便捷的工具,用于简化Apache Kafka在单个服务器上的部署过程。Apache Kafka是一个分布式流处理平台,它被广泛应用于大数据实时处理、消息传递和日志聚合等领域。这个脚本的目的是...

    zookeeper linux集群搭建流程

    ZooKeeper Linux 集群搭建流程可以分为四步:下载和解压 ZooKeeper、创建目录和 myid 文件、修改 ZooKeeper 启动配置文件、启动 ZooKeeper 节点。通过这些步骤,可以成功搭建 ZooKeeper Linux 集群,满足分布式系统...

    Lancger#opslinux#Kafka单机配置部署1

    1、下载zookeeper安装包 2、安装zookeeper 3、服务启动 4、检查状态 5、连接测试 1、下载kafka安装包 2、修改文件server.pr

    利用docker和docker-compose部署单机kafka

    Kafka需要Zookeeper来存储集群元数据,因此在部署Kafka之前通常需要先部署Zookeeper。 4. **Docker部署Kafka** 使用Docker部署Kafka非常便捷,只需两步: - 部署Zookeeper容器: ```shell docker run -d --name...

    《Kafka单机部署》配置文件

    下面我们将详细探讨《Kafka单机部署》中涉及的知识点。 首先,我们需要理解Kafka的基本架构。Kafka由多个组件构成,主要包括Brokers(代理)、Producers(生产者)、Consumers(消费者)以及Topics(主题)。在单机...

    kafka 与zookeeper打包.rar

    通常,Zookeeper会以单机模式或集群模式部署。安装步骤包括下载Zookeeper的安装包,解压,配置环境变量,修改配置文件如`zoo.cfg`,并启动Zookeeper服务。 接着,我们安装Kafka。同样,下载Kafka的压缩包,解压后...

    Kafka安装与部署指南.pdf

    在单机部署的基础上,需要对每个Kafka节点的配置文件server.properties进行修改,设置多个节点间的ZooKeeper连接地址,并重新启动每个节点的Kafka服务。 5. Kafka的配置与测试 配置完成后,可以使用测试命令验证...

    Kafka安装部署与Java调用.zip

    本资料主要涵盖了Kafka的安装部署以及Java API的调用方法,分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先,你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...

    快速部署单机kafka集群(win环境)

    kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/

    kafka 单机集群搭建和监控

    在本文中,我们将深入探讨如何搭建Kafka单机环境与集群,以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台,广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明: ...

    kafka部署和使用详尽PDF

    集群启动和监控与单机部署类似,但需分别在每台服务器上启动Zookeeper和Kafka,确保所有节点都能正常通信并参与集群。 总结,这份PDF提供了从基础环境准备到Kafka服务启动的完整步骤,适合初学者和运维人员参考。...

    介绍kafka及kafka集群安装

    #### Kafka 单机版部署示例 1. **配置 server.properties 文件**: - 修改 broker.id=0 - 设置 listeners=localhost:9092 - 设置 zookeeper.connect=localhost:2181 2. **启动 ZooKeeper**:执行 `bin/...

    kafka搭建单机windows_单机linux_集群linux操作.rar

    本文将详细介绍如何在Windows单机环境、Linux单机环境以及Linux集群环境下搭建Kafka,旨在帮助读者深入理解Kafka的部署与配置,以便更好地运用在实际项目中。 ### Windows单机环境搭建 1. **下载安装Java运行环境...

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    2.12-2.8.0”可能是Kafka的安装目录或解压后的文件结构,包含了所有运行Kafka所需的组件,如服务器配置文件(server.properties)、日志配置(log4j.properties)、Zookeeper配置(zoo.cfg)以及启动脚本等。...

    Kafka集群搭建(3台机)

    总的来说,搭建Kafka集群涉及到虚拟机安装、JDK安装配置、Zookeeper集群配置和启动等关键步骤。这些步骤的目的是确保Kafka集群能够稳定运行,提供高性能的消息队列服务。在实际操作过程中,还应注意检查防火墙设置、...

    kafka_2.11-2.1.1 脚本快速安装

    - "单机版快速安装"则针对个人开发或测试环境,简化了安装过程,通常只需要在单台机器上安装ZooKeeper和Kafka,并进行基本的配置。 综合以上信息,安装Kafka 2.11-2.1.1的关键步骤包括: 1. 下载并解压Zookeeper-...

    zookeeper-3.4.9.tar.zip

    - **单机模式**:适合开发和测试环境,只启动一个 Zookeeper 实例。 - **集群模式**:生产环境中通常使用,至少三个节点,提供容错和高可用性。 4. **Zookeeper 配置要点** - **配置文件**:`conf/zoo.cfg` 是 ...

    zookeeper部署手册

    Zookeeper部署手册主要涵盖如何在单机环境和集群环境中安装并配置Apache ZooKeeper,这是一个分布式协调服务,广泛应用于分布式计算领域,尤其在Java开发中。Zookeeper提供了诸如命名服务、配置管理、组服务、分布式...

Global site tag (gtag.js) - Google Analytics