在root的用户下
1):前提 安装JDK环境,设置JAVA环境变量
2):下载kafka,命令:wget http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz
3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
4):然后去解压zookeeper包,我把zookeeper-3.4.10文件夹名称改为了zookeeper ,首先找到conf的文件夹,然后备份一份zoo_sample.cfg文件 ,备份名为zoo.cfg
命令:cp zoo_sample.cfg zoo.cfg
5):打开zoo.cfg的文件
命 令 :vim zoo.cfg
dataDir=/tmp/zookeeper (虽然给出这个路径给你,但是系统并没有,要你自己创建的,你可以不按这个路径)
dataLogDir=/tmp/zookeeperlog (这是我另外夹的用来存放日志文件)
6):启动 zookeeper
root@debian8:/usr/local/zookeeper# 命令 : bin/zkServer.sh start
7)解压kafka的包,我把kafka_2.10-0.10.2.1文件夹名称改为了kafka,到config路径下找到 server.properties
找到log.dirs=/tmp/kafka-logs (跟刚刚zookeper一样创建)
listeners(所在机器ip地址)我这里是本地,不管它
8):启动kafka
命令:nohup bin/kafka-server-start.sh config/server.properties & > nohup.out
进程守护模式启动kafka
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &
运行之后不管成功否它都会在你的kafka包下生成一个 nohup.out的文件
9): 查看是否成功了
新建一个topic
命令:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看 topic是否成功
命令:bin/kafka-topics.sh --list --zookeeper localhost:2181
10):把kafka的生产者启动来
命令 :bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
11):另开一个终端(创建新的),把消费者启动起来:
命令:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning
12):在生产者终端输入数据,消费者马上就会消费显示出来
分享到:
相关推荐
在本文中,我们将深入探讨如何在Kubernetes集群中部署单机版的Apache Kafka和ZooKeeper,这两个组件是大数据处理和消息传递领域的关键组件。Kubernetes(简称K8s)作为一个自动化容器管理系统,使得在云环境中部署、...
kafka单机版安装部署手册1 在本手册中,我们将指导您如何在单机上安装和部署 Apache Kafka。Kafka 是一个分布式流媒体平台,用于构建实时数据管道和事件驱动架构。 安装 ZooKeeper 首先,我们需要安装 ZooKeeper...
Kafka单机版自动安装Shell脚本是一个便捷的工具,用于简化Apache Kafka在单个服务器上的部署过程。Apache Kafka是一个分布式流处理平台,它被广泛应用于大数据实时处理、消息传递和日志聚合等领域。这个脚本的目的是...
ZooKeeper Linux 集群搭建流程可以分为四步:下载和解压 ZooKeeper、创建目录和 myid 文件、修改 ZooKeeper 启动配置文件、启动 ZooKeeper 节点。通过这些步骤,可以成功搭建 ZooKeeper Linux 集群,满足分布式系统...
1、下载zookeeper安装包 2、安装zookeeper 3、服务启动 4、检查状态 5、连接测试 1、下载kafka安装包 2、修改文件server.pr
Kafka需要Zookeeper来存储集群元数据,因此在部署Kafka之前通常需要先部署Zookeeper。 4. **Docker部署Kafka** 使用Docker部署Kafka非常便捷,只需两步: - 部署Zookeeper容器: ```shell docker run -d --name...
下面我们将详细探讨《Kafka单机部署》中涉及的知识点。 首先,我们需要理解Kafka的基本架构。Kafka由多个组件构成,主要包括Brokers(代理)、Producers(生产者)、Consumers(消费者)以及Topics(主题)。在单机...
通常,Zookeeper会以单机模式或集群模式部署。安装步骤包括下载Zookeeper的安装包,解压,配置环境变量,修改配置文件如`zoo.cfg`,并启动Zookeeper服务。 接着,我们安装Kafka。同样,下载Kafka的压缩包,解压后...
在单机部署的基础上,需要对每个Kafka节点的配置文件server.properties进行修改,设置多个节点间的ZooKeeper连接地址,并重新启动每个节点的Kafka服务。 5. Kafka的配置与测试 配置完成后,可以使用测试命令验证...
本资料主要涵盖了Kafka的安装部署以及Java API的调用方法,分为单机版和集群版两种环境。 ### Kafka安装部署 #### 单机版安装 1. **下载**: 首先,你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与...
kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/
在本文中,我们将深入探讨如何搭建Kafka单机环境与集群,以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台,广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明: ...
集群启动和监控与单机部署类似,但需分别在每台服务器上启动Zookeeper和Kafka,确保所有节点都能正常通信并参与集群。 总结,这份PDF提供了从基础环境准备到Kafka服务启动的完整步骤,适合初学者和运维人员参考。...
#### Kafka 单机版部署示例 1. **配置 server.properties 文件**: - 修改 broker.id=0 - 设置 listeners=localhost:9092 - 设置 zookeeper.connect=localhost:2181 2. **启动 ZooKeeper**:执行 `bin/...
本文将详细介绍如何在Windows单机环境、Linux单机环境以及Linux集群环境下搭建Kafka,旨在帮助读者深入理解Kafka的部署与配置,以便更好地运用在实际项目中。 ### Windows单机环境搭建 1. **下载安装Java运行环境...
2.12-2.8.0”可能是Kafka的安装目录或解压后的文件结构,包含了所有运行Kafka所需的组件,如服务器配置文件(server.properties)、日志配置(log4j.properties)、Zookeeper配置(zoo.cfg)以及启动脚本等。...
总的来说,搭建Kafka集群涉及到虚拟机安装、JDK安装配置、Zookeeper集群配置和启动等关键步骤。这些步骤的目的是确保Kafka集群能够稳定运行,提供高性能的消息队列服务。在实际操作过程中,还应注意检查防火墙设置、...
- "单机版快速安装"则针对个人开发或测试环境,简化了安装过程,通常只需要在单台机器上安装ZooKeeper和Kafka,并进行基本的配置。 综合以上信息,安装Kafka 2.11-2.1.1的关键步骤包括: 1. 下载并解压Zookeeper-...
- **单机模式**:适合开发和测试环境,只启动一个 Zookeeper 实例。 - **集群模式**:生产环境中通常使用,至少三个节点,提供容错和高可用性。 4. **Zookeeper 配置要点** - **配置文件**:`conf/zoo.cfg` 是 ...
Zookeeper部署手册主要涵盖如何在单机环境和集群环境中安装并配置Apache ZooKeeper,这是一个分布式协调服务,广泛应用于分布式计算领域,尤其在Java开发中。Zookeeper提供了诸如命名服务、配置管理、组服务、分布式...