`

kafka使用与安装

阅读更多

 

集群安装

1、解压

2、修改server.properties

broker.id=1

zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:2181

 

3、将zookeeper集群启动

 

4、在每一台节点上启动broker

启动的时候 如果虚拟机内存不足需要添加在kafka-server-start.sh 中:export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

 

bin/kafka-server-start.sh config/server.properties

 

5、在kafka集群中创建一个topic

bin/kafka-topics.sh --create --zookeeper weekend05:2181 --replication-factor 3 --partitions 1 --topic order

 

6、用一个producer向某一个topic中写入消息

bin/kafka-console-producer.sh --broker-list weekend:9092 --topic order

 

7、用一个comsumer从某一个topic中读取信息

bin/kafka-console-consumer.sh --zookeeper weekend05:2181 --from-beginning --topic order

 

8、查看一个topic的分区及副本状态信息

bin/kafka-topics.sh --describe --zookeeper weekend05:2181 --topic order

 

 

附件中的入门例子。

 

分享到:
评论

相关推荐

    kafka rpm 离线 安装 centos7

    centos 离线服务器安装kafka

    kafka安装与配置

    **Kafka安装与配置指南** Kafka是一款分布式流处理平台,由LinkedIn开发并贡献给了Apache软件基金会。它被广泛用于实时数据管道和流处理任务,能够处理大量的实时数据。在这个指南中,我们将深入探讨Kafka的安装...

    linux安装kafka监控EFAK安装.docx

    完成这些修改后,使用`xsync`命令将更改分发到其他服务器,并分别重启Zookeeper和Kafka集群。 接下来,开始安装EFAK。从官方GitHub仓库或网站下载最新版本(这里以v3.0.1为例)。解压下载的文件到指定目录,例如`/...

    Kafka安装与部署指南

    **Kafka安装与部署指南** Apache Kafka是一款分布式流处理平台,由LinkedIn开发并贡献给了Apache软件基金会。它被广泛用于构建实时数据管道和流应用程序,能够处理大量的实时数据。Kafka以其高吞吐量、持久化、容错...

    介绍kafka及kafka集群安装

    ### Kafka 的安装与部署 #### Kafka 安装部署步骤 1. **环境准备**:安装 Java 环境,因为 Kafka 基于 Java 开发,所以需要 Java 环境支持。 2. **下载 Kafka**:可以从官方网站或者其他可信源下载 Kafka 的最新...

    Kafka安装(安装与配置).pdf

    ### Kafka安装与配置详解 #### 一、Kafka简介 Apache Kafka是一种分布式流处理平台,主要功能包括发布和订阅记录流、存储记录流并可靠地处理这些记录流。Kafka适用于离线和在线的消息消费,如常规的消息收集、网站...

    linux安装kafka教程

    Linux 安装 Kafka 教程 Kafka 是一种流行的分布式流处理平台,广泛应用于数据处理、实时数据处理和事件驱动...Kafka 安装和配置完成后,可以使用 Kafka 命令行工具进行各种操作,如创建 Topic、发送消息、消费消息等。

    kafka及kafkaEagle详细安装部署步骤及相关安装文件下载

    #### 二、Kafka安装部署步骤 **步骤1:下载Kafka** 根据提供的链接(注意链接中的特殊字符可能是错误输入,请确认正确的下载地址),下载Kafka安装包。例如,可以使用wget命令下载: ```bash wget ...

    Kafka2.3.0集群安装

    export KAFKA_HOME=/usr/local/soft/kafka_2.11-2.3.0和export PATH=$PATH:$KAFKA_HOME/bin这两个命令将Kafka安装目录添加到系统环境变量中。 四、配置参数 配置Kafka参数,包括broker.id、listeners、advertised....

    Kafka集群及Kafka-Manager安装部署.docx

    Kafka安装部署** - 解压Kafka安装包`tar -zvxf kafka_2.11-1.0.0.tgz`,并创建软链接便于管理和使用。 - 修改`config/server.properties`文件,注释掉不必要的配置项,并添加特定于集群的配置,如`broker.id`、`...

    Kafka安装包、安装文档

    **Kafka安装与配置详解** Kafka是一款高性能的分布式消息中间件,由LinkedIn开发并开源,后成为Apache软件基金会的顶级项目。它主要用于构建实时数据管道和流处理应用,广泛应用于大数据领域。Kafka的核心特性包括...

    kafka下载与安装教程

    如果需要验证安装是否成功,可以使用`bin/kafka-console-producer.sh`和`bin/kafka-console-consumer.sh`分别创建生产者和消费者,进行消息的发送和接收。 Kafka的强大之处在于它的高性能和可扩展性。每条消息都被...

    Apache Kafka:Kafka安装与配置.docx

    Apache Kafka:Kafka安装与配置.docx

    kafka安装教程

    kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程

    kafka搭建与使用.doc

    Kafka 集群搭建与使用详解 Kafka 是一种分布式流媒体平台,由 Apache 开源项目提供。它主要用来构建实时数据管道和流媒体处理系统。本文档将详细介绍 Kafka 集群的搭建和使用,包括创建、删除、生产者、消费者等...

    Kafka安装手册(Linux)

    ### Kafka安装手册(Linux) #### 一、Kafka简介与安装背景 Apache Kafka是一个开源的流处理平台,由LinkedIn开发并捐赠给Apache软件基金会。它主要用于构建实时数据管道和流应用,具有高吞吐量、低延迟的特点。...

    kafka安装 docker安装kafka zookeeper

    3.6.docker安装 kafka 参数解释: -d :后台运行 – name 当前容器的名字。 -p:暴露端口,-p 9092:9092 将容器内部的9092端口映射到宿主机的端口上。 –privileged:使用该参数,container内的root拥有真正的root...

Global site tag (gtag.js) - Google Analytics