broker.id=1
port=9092
host.name=192.168.55.91
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/ddhome/bin/kafka/tmp/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181
zookeeper.connection.timeout.ms=1000000
#kafka\u5B9E\u9645\u4F7F\u7528\u6848\u4F8B 210\u670D\u52A1\u5668kafka\u914D\u7F6E
broker.id=2
port=9092
host.name=192.168.55.81
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
log.dirs=/ddhome/bin/kafka/tmp/kafka-logs
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connect=192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181
zookeeper.connection.timeout.ms=1000000
ssh ddava /ddhome/bin/kafka/bin/kafka-server-start.sh -daemon /ddhome/bin/kafka/config/server.properties &
ssh ddbva /ddhome/bin/kafka/bin/kafka-server-start.sh -daemon /ddhome/bin/kafka/config/server.properties &
kafka-topics.sh --create --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181 --replication-factor1 --partitions1 --topic lhg
kafka-topics.sh --list --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181
kafka-topics.sh --describe --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181 --topic test
kafka-topics.sh --create --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181 --replication-factor 1 --partitions 1 --topic test
kafka-console-producer.sh --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181 --topic test
kafka-console-consumer.sh --zookeeper 192.168.55.91:2181,192.168.55.81:2181,192.168.55.31:2181 --topic test --from-beginning
分享到:
相关推荐
**Kafka插件详解** Kafka插件是Apache Kafka与各种工具集成的重要组成部分,它使得开发者和运维人员能够更方便地在不同的系统中利用Kafka的功能。Kafka是一款分布式流处理平台,常用于构建实时数据管道和流应用,...
Kafka 概述与架构 Kafka 是一种流行的消息队列系统,广泛应用于构建实时数据管道和流媒体应用程序。它具有水平扩展、容错、高速运行等特点,已经在数千家公司的生产环境中运行。 架构概述 Kafka 的架构主要由三个...
开源软件kafka_2.13-3.5.1版本,仅供学习安装,不可用做其他用途,建议直接在官网进行下载,版本为3.5.1,Scala版本2.13;开源软件kafka_2.13-3.5.1版本,仅供学习安装,不可用做其他用途,建议直接在官网进行下载,...
**Kafka概述** Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源分布式流处理平台。它的设计目标是成为一个高吞吐、低延迟的消息系统,能够处理海量实时数据。Kafka作为一个分布式消息中间件,它在大数据...
使用Maven整合Kafka 包括生产者,消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
kafka2.12-3.8.0
本文将深入探讨如何实现Storm与Kafka的集成,重点在于如何从Kafka中读取数据。 **一、整合说明** Apache Storm是一个开源的分布式实时计算系统,它能够持续处理无限的数据流,确保每个事件都得到精确一次(Exactly...
《Kafka 2.12-3.6.1在Linux环境下的快速部署与使用》 Kafka,作为一款高效、可扩展且持久化的分布式消息中间件,被广泛应用于大数据实时处理、日志收集和流处理等场景。本文将详细介绍如何在Linux环境下部署并使用...
在IT行业中,Kafka是一种广泛使用的分布式流处理平台,由LinkedIn开发并贡献给了Apache软件基金会。这个场景中,我们关注的是“向Kafka插入数据”的测试。这涉及到多个知识点,包括Kafka的基本概念、生产者API、数据...
在“kafka-2.13-3.5.1.tgz”这个压缩包中,包含了Kafka的一个特定版本——3.5.1,该版本支持Scala 2.13的构建。下面我们将深入探讨Kafka的核心概念、功能以及如何使用这个版本。 1. **Kafka的基本概念** - **发布...
**Kafka 2.3.0 Linux 版本详解** Apache Kafka是一款开源的分布式流处理平台,由LinkedIn开发并贡献给Apache软件基金会。Kafka主要设计目标是提供高吞吐量、低延迟的消息发布与订阅服务,同时也支持数据持久化和...
《深入理解Kafka:分布式消息系统的精髓》 Kafka,由LinkedIn开发并开源,是一款高性能、分布式的流处理平台,其设计目标是处理海量实时数据。它的核心特性是能够以高吞吐量进行消息的发布与订阅,同时保证数据的...
《Kafka 2.13-3.1.0:深度解析与应用实践》 Apache Kafka,一个由LinkedIn开发并贡献给Apache软件基金会的开源流处理平台,因其高性能、高可扩展性和容错性而备受业界青睐。Kafka 2.13-3.1.0是Kafka的一个重要版本...
**Kafka概述** Kafka是由LinkedIn开发并贡献给Apache软件基金会的一个开源分布式消息系统,它最初设计的目标是处理海量实时数据。Kafka以其高吞吐量、低延迟、持久化和可扩展性著称,使其成为大数据领域中的关键...
《深入理解Kafka 2.8.0:基于2.13版本的分布式消息系统解析》 Apache Kafka是一个高性能、分布式的流处理平台,广泛应用于大数据实时处理、日志收集、用户行为分析等领域。Kafka 2.8.0是其最新的稳定版本,对之前的...
**Kafka 2.7.0 安装与配置指南** Kafka是一个分布式流处理平台,由Apache软件基金会开发,广泛应用于大数据实时处理、消息传递和日志聚合等场景。Kafka 2.7.0是该平台的一个稳定版本,提供了许多改进和新特性。在...
在IT领域,特别是大数据处理和实时流计算方面,华为kafka和zookeeper是两个非常关键的组件。华为kafka是华为公司对开源Apache Kafka的定制版本,它在原生Kafka的基础上进行了优化和增强,以适应华为云环境和服务的...
《Kafka in Action》这本书是关于Apache Kafka的深入指南,由Dylan Scott、Viktor Gamov和Dave Klein合著,前言由Jun Rao撰写。Kafka是一个分布式流处理平台,广泛应用于大数据处理和实时数据集成。以下是书中可能...