`

kafka单机版安装

 
阅读更多

1单机 安装

安装过程,参考官网:

 

> tar xzf kafka-<VERSION>.tgz
> cd kafka-<VERSION>
> ./sbt update
> ./sbt package
> ./sbt assembly-package-dependency
出现问题
1 在安装 0.8 版本时,出现如下问题
ead "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/server/quorum/QuorumPeerMain
Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.server.quorum.QuorumPeerMain
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
按照 http://www.bdfindustries.com/blog/2012/02/11/getting-started-with-apache-kafka/这位仁兄的方法没有解决
2安装0.7,出现如下问题
[error] Note: Some input files use or override a deprecated API.
[error] Note: Recompile with -Xlint:deprecation for details.
忽略掉 ,继续执行


2 单机使用

上面的步骤都执行完了,环境算是好了,下面我们要测试下是否能成功运行kafka:

 

1.   启动zookeeper server bin/zookeeper-server-start.sh ../config/zookeeper.properties  & (&是为了能退出命令行)

2.    启动kafka server:  bin/kafka-server-start.sh ../config/server.properties  &

3.    Kafka为我们提供了一个console来做连通性测试,下面我们先运行producerbin/kafka-console-producer.sh --zookeeper localhost:2181 --topic test 这是相当于开启了一个producer的命令行。命令行的参数我们一会儿再解释。

4.    接下来运行consumer,新启一个terminalbin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

5.    执行完consumer的命令后,你可以在producerterminal中输入信息,马上在consumerterminal中就会出现你输的信息。有点儿像一个通信客户端。

如果你能看到5执行了,说明你单机版部署成功了。下面解释下两条命令中参数的意思。--zookeeper localhost:2181 这个说明了去连本机2181端口的zookeeper server--topic test,在kafka里,消息按topic来区分,我们这里的topictest,所以不管是consumer还是producer都指向了test。其他的参数,我就截图了,首先是producer的参数:

以上转载参考自:http://my.oschina.net/ielts0909/blog/93190
3 集群安装使用
类似单机,参考如下网址:http://my.oschina.net/ielts0909/blog/93190
分享到:
评论

相关推荐

    kafka单机版安装部署手册1

    kafka单机版安装部署手册1 在本手册中,我们将指导您如何在单机上安装和部署 Apache Kafka。Kafka 是一个分布式流媒体平台,用于构建实时数据管道和事件驱动架构。 安装 ZooKeeper 首先,我们需要安装 ZooKeeper...

    kafka单机版自动安装shell脚本

    Kafka单机版自动安装Shell脚本是一个便捷的工具,用于简化Apache Kafka在单个服务器上的部署过程。Apache Kafka是一个分布式流处理平台,它被广泛应用于大数据实时处理、消息传递和日志聚合等领域。这个脚本的目的是...

    单机 kafka 配置 kerberos,设置 ACL 权限

    kafka 配置 kerberos,设置 ACL权限, java 客户端连接。

    kafka 单机集群搭建和监控

    在本文中,我们将深入探讨如何搭建Kafka单机环境与集群,以及如何进行有效的监控。Kafka是由Apache开发的一个分布式流处理平台,广泛应用于实时数据处理、消息传递和日志聚合等场景。以下是对每个主题的详细说明: ...

    介绍kafka及kafka集群安装

    #### Kafka 单机版部署示例 1. **配置 server.properties 文件**: - 修改 broker.id=0 - 设置 listeners=localhost:9092 - 设置 zookeeper.connect=localhost:2181 2. **启动 ZooKeeper**:执行 `bin/...

    kafka搭建windows版本单机环境

    接下来,我们分步骤来搭建Windows上的Kafka单机环境: ### 1. 安装Java运行环境 (JRE) Kafka运行在Java平台上,因此首先确保你的机器上安装了JDK 8或更高版本。可以从Oracle官网下载并安装。 ### 2. 下载Kafka ...

    Linux下Kafka单机安装配置方法(图文)

    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢

    kafka搭建单机windows_单机linux_集群linux操作.rar

    2. **下载Kafka**:从Apache官网下载最新稳定版的Kafka,解压至指定目录。 3. **配置环境变量**:将Kafka的bin目录添加到系统的PATH环境变量中,便于在命令行中直接运行Kafka命令。 4. **启动Zookeeper**:Kafka...

    快速部署单机kafka集群(win环境)

    本文不讲kafka集群原理,只谈部署步骤。 默认读者已对kafka有最基本的认知,纯粹作为部署笔记,方便回忆。 另外本文是基于Windows部署的,Linux的步骤是基本相同的(只是启动脚本位置不同)。 kafka集群类型: ...

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    压缩包内的“kafka_2.12-2.8.0”可能是Kafka的安装目录或解压后的文件结构,包含了所有运行Kafka所需的组件,如服务器配置文件(server.properties)、日志配置(log4j.properties)、Zookeeper配置(zoo.cfg)以及...

    Kafka集群搭建(3台机)

    搭建Kafka集群涉及到对虚拟机的安装配置、JDK环境的搭建、Zookeeper的安装配置等关键步骤。下面详细介绍各个知识点。 首先,虚拟机的安装是搭建Kafka集群的基础。文中提到了使用VMWare来安装三台虚拟机,并分配了...

    kafka环境搭建(单机+集群) 详细

    - 获取Kafka的二进制发行版,同样使用Xshell或类似工具将其传输到服务器。 - 解压缩Kafka的压缩包,然后根据需要配置环境变量,确保Kafka的可执行文件可以在系统路径中找到。 - 启动Kafka服务,通常包括启动...

    kafka-manager 最新版本 已经编译好,可直接使用

    在部署kafka-manager-1.3.3.18时,你需要确保你的环境已经安装了Java和Sbt。首先,解压下载的压缩包,然后在命令行中导航到解压后的目录。接下来,你可以通过执行启动脚本来运行Kafka-Manager,通常会有一个类似于`...

    Kafka安装部署与Java调用.zip

    #### 单机版安装 1. **下载**: 首先,你需要从Apache Kafka的官方网站下载最新版本的Kafka。确保下载与你的操作系统兼容的版本。 2. **解压**: 解压缩下载的文件到你选择的目录。 3. **配置**: 修改`config/server....

    kubernetes 部署单机版Kafka、zookeeper

    在本文中,我们将深入探讨如何在Kubernetes集群中部署单机版的Apache Kafka和ZooKeeper,这两个组件是大数据处理和消息传递领域的关键组件。Kubernetes(简称K8s)作为一个自动化容器管理系统,使得在云环境中部署、...

    Kafka的最简安装

    Kafka最简安装方式说明了在单机环境下如何快速搭建起Kafka服务。以下是一些重要的知识点,涵盖了Kafka安装、配置以及基本操作的各个方面: 1. Kafka的版本选择:在本指南中所使用的Kafka版本为kafka_2.10-*.*.*.*。...

    kafka+spark streaming开发文档

    在安装Kafka单机环境时,需要解压缩Kafka安装包,配置环境变量,设置KAFKA_HOME和PATH环境变量,并且需要将server.properties文件中的host.name改为自己的主机名。 在配置Kafka集群环境时,需要将配置文件复制到每...

    kafka部署和使用详尽PDF

    Kafka服务器监听9092端口,Zookeeper配置为localhost:2181,并将安装目录设为/root/kafka_2.12-2.1.0。 1.2 JDK安装 从Oracle官网下载JDK,解压后将其路径添加到环境变量,确保`JAVA_HOME`设置正确,并通过`java -...

    Kafka管理工具KafkaManager.zip

    Kafka Manager 是 Yahoo 推出的 Kafka 管理工具,支持:管理多个集群轻松检查集群状态 (topics, brokers, replica distribution, partition distribution)执行复制选举生成分区指派,基于集群的状态分区的重新指派该...

Global site tag (gtag.js) - Google Analytics