`
bibithink
  • 浏览: 29750 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Kafka(三) -- 安装和使用

阅读更多

 以下我们分五个步骤来说明 Kafka 系统的安装和使用(命令行方式)

 

(一)下载代码

 

下载链接:

 

下载后解压:

 

tar -xzf kafka_2.11-0.9.0.0.tgz
cd kafka_2.11-0.9.0.0
 
 

(二)启动服务

 

Kafak 使用 ZooKeeper 管理,所以如果没有的话就先启动一个 ZooKeeper。可以通过如下脚本启动一个临时单点 ZooKeeper 实例:

 
bin/zookeeper-server-start.sh config/zookeeper.properties &
 

现在启动 Kafka 服务

 
bin/kafka-server-start.sh config/server.properties &

 

通过 jps 命令可以看到系统中多了两个 java 进程:

 

jps
33160 QuorumPeerMain       (临时单点 ZooKeeper 进程)
33294 Kafka                (Kafka 节点实例进程)
 

 

(三)创建主题

我们来创建一个叫“test”的主题,只配置一个划分和一个副本:
 
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

我们可以用 list topic 命令查看当前的 topic:

 

bin/kafka-topics.sh --list --zookeeper localhost:2181 2>/dev/null
test

 

这里加 2>/dev/null 是为了把日志信息过滤走,不然日志信息和标准输出在一起,不太容易看结果。

上面是手动创建主题,也可以配置 broker 自动创建主题。
 
 

(四)发布消息

Kafka 提供一个发消息的命令行客户端,从文件或标准输入中接收消息发送给 Kafka 集群。默认情况下一行算成一个消息。
这样操作来启动一个生产者(producer)并发送消息:

 

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message

 

 

(五)接收消息

Kafka 也提供了一个消费者命令行,用于接收消息并显示到标准输出。
 
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
This is a message
This is another message
 
如果你开了两个终端,分别启动了一个生产者和一个消费者,你就可以在这两个终端上进行单向聊天了。
 
本节我们启动了一个 Kafka 实例,而 Kafka 真正强大的地方是支持一个集群,集群中可以配置若干个实例,一个节点倒下去,另一个节点就站起来。在下一节中我们来具体介绍如何创建多实例集群
 
 
 
分享到:
评论

相关推荐

    kafka-2.12-3.6.1.tgz

    Kafka 2.12-3.6.1在Linux环境中的部署和使用并不复杂,只需几个步骤即可完成基础配置和启动。然而,真正实现高可用、高性能的Kafka集群还需要深入理解和调整其内部参数,以及合理规划数据存储和网络通信策略。希望这...

    kafka-python-2.0.2.tar.gz

    这将把`kafka-python`库安装到你的Python环境的site-packages目录下,使得在Python程序中可以直接导入和使用。 三、基本使用 1. 生产者(Producer):生产者负责向Kafka集群发布消息。在`kafka-python`中,可以...

    kafka_2.11-2.2.2.tgz

    《Kafka在Linux环境下的安装与使用详解》 Apache Kafka是一款高性能、分布式的消息中间件,广泛应用于大数据实时处理、日志收集、流式数据处理等领域。本文将详细讲解如何在Linux环境下安装并使用Kafka 2.2.2版本。...

    kafka-eagle-bin-2.0.1.tar.gz

    三、Kafka Eagle的安装与配置 下载Kafka Eagle的最新版本,例如`kafka-eagle-bin-2.0.1.tar.gz`,解压后按照以下步骤进行安装: 1. **环境准备**:确保系统已安装Java运行环境,Kafka集群正常运行。 2. **解压...

    kafka2.11-1.0.0.tgz.zip

    - **安装与配置**:安装Java运行环境,下载Kafka 2.11-1.0.0,配置Zookeeper和Kafka的相关参数。 - **启动与测试**:启动Zookeeper和Kafka服务,创建主题并测试消息的发布和消费。 6. **最佳实践**: - **合理...

    Kafka集群及Kafka-Manager安装部署.docx

    - 发送和消费消息,使用Kafka自带的工具如`kafka-console-producer.sh`和`kafka-console-consumer.sh`进行测试。 #### 二、Kafka-Manager的安装与配置 **1. 安装部署** - 解压Kafka-Manager安装包`tar -zvxf ...

    最新版windows kafka_2.12-2.4.1.tgz

    在本文中,我们将深入探讨如何在Windows操作系统上安装和使用最新版的Kafka——即Kafka_2.12-2.4.1版本。这个版本基于Scala 2.12编译,并且是Kafka的稳定版本2.4.1。 首先,我们需要理解Kafka的核心概念。Kafka作为...

    kafka资源下载kafka_2.11-2.0.0.tgz

    ### 关于Kafka资源下载kafka_2.11-2.0.0.tgz的知识点 ...“kafka_2.11-2.0.0.tgz”的下载和安装是使用Kafka的基础步骤,通过对版本特性、配置方法及常见问题的了解,可以帮助用户更好地利用这一强大的工具。

    kafka-eagle-bin-1.3.2.tar.gz

    《Kafka Eagle 1.3.2:一站式Kafka监控与管理工具》 Kafka Eagle,作为一款针对Apache Kafka的高效、直观的管理和监控工具,为运维人员提供了...正确配置和熟练使用Kafka Eagle,将极大地提升您的Kafka集群管理水平。

    kafka_2.13-2.5.1及安装方法

    - **监控和管理**:使用Kafka的命令行工具或第三方工具(如Kafka Manager)监控和管理Kafka集群的状态。 总的来说,Kafka因其高性能、可扩展性和灵活性,在大数据领域得到了广泛应用。正确安装和配置Kafka是实现...

    kafka-manager-2.0.0.2-kafka2.13.2-8.0.zip

    首先,确保系统已安装Java和Scala环境,然后从官方仓库下载kafka-manager-2.0.0.2-kafka2.13-2.8.0压缩包,解压后配置相关环境变量,包括Zookeeper地址、Kafka集群信息等。最后,启动Kafka Manager服务,并通过...

    kafka-2.12-3.6.0安装包以及linux(centos7)无zookeeper安装kafka-2.12-3.6.0(

    总结:本文详细介绍了在Linux CentOS 7系统上无Zookeeper的Kraft模式下安装Apache Kafka 2.12-3.6.0的步骤,包括下载和解压安装包,配置Kafka环境,修改`server.properties`文件,创建必要的数据目录,以及启动和...

    1、kafka(2.12-3.0.0)介绍、部署及验证、基准测试

    作者提供的其他相关文章,如 Java API 的使用、Kafka 的关键概念详解、分区和副本介绍,以及 Kafka 监控工具 Kafka-Eagle 的使用,将更深入地探讨 Kafka 的功能和操作。 总之,Apache Kafka 是一个强大的工具,适用...

    Python库 | kafka-python-1.3.4.tar.gz

    1. 安装时,确保已安装Python的setuptools和zlib库,因为kafka-python在安装过程中可能需要它们。 2. 配置参数的设置对于性能和稳定性至关重要,如设置适当的批处理大小、超时时间等。 3. 考虑到版本兼容性,使用...

    kafka-manager-1.3.3.21.zip

    在 Linux 环境下,使用 JDK 1.8 安装 Kafka Manager 1.3.3.21,首先解压下载的 `kafka-manager-1.3.3.21.zip` 文件,然后进行以下步骤: 1. **依赖安装**:确保系统已安装 Scala、Java 运行环境,以及必要的库文件...

    kafka_2.12-1.0.0.zip

    5. 使用producer和consumer工具进行消息生产和消费。 五、监控与管理 Kafka提供了一些工具来监控和管理集群,如`kafka-topics.sh`用于管理主题,`kafka-consumer-groups.sh`用于查看消费者组状态,`kafka-log-dirs...

    kafka-manager编译后文件

    总结,Kafka-Manager是Kafka使用者的得力助手,通过其简洁的界面和丰富的功能,使得Kafka的管理变得更加便捷高效。在CentOS 6.4环境下编译得到的`kafka-manager-1.3.3.18.zip`文件,包含了编译后的所有必要文件,...

    kafka_2.11-0.11.0.3.zip

    本文将详细介绍如何在CentOS 7.0上安装和使用Kafka 0.11.0.3。 一、安装准备 首先,确保系统已经更新到最新,并安装了Java开发工具(JDK)1.8或以上版本,因为Kafka需要Java运行环境。在终端中输入以下命令: ```...

    kafka-manager包

    通过熟练使用Kafka-Manager,可以有效地提升Kafka集群的稳定性和性能,降低运营成本。在实际工作中,结合具体场景和需求,不断探索和利用Kafka-Manager的各项功能,将有助于更好地驾驭Kafka这一消息中间件。

    kafka_2.11-2.1.0

    总结,"kafka_2.11-2.1.0" 压缩包提供的 Kafka 版本是构建实时数据处理系统的强大工具,通过理解其核心特性、架构以及如何进行安装和配置,开发者可以充分利用 Kafka 的优势,实现高效、可靠的实时数据流动。...

Global site tag (gtag.js) - Google Analytics