`
liujie5354
  • 浏览: 6116 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

kafka伪分布式安装

 
阅读更多

kafka作为分布式消息系统在企业中有广泛的应用。本篇主要介绍kafka的伪分布式安装,资料来源:http://kafka.apache.org/documentation.html。

 

1.kafka依赖zookeeper,zookeeper的安装和启动暂时不在这里介绍。如果有需要,请大家查询相关资料。

2.首先下载kafka软件,下载地址为:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.2.1/kafka_2.10-0.8.2.1.tgz

2.将下载的文件解压,放到目录/home/grid/下

3.配置/home/grid/kafka_2.10-0.8.2.1/config/server.properties文件,将日志文件目录修改为

# A comma seperated list of directories under which to store log files

log.dirs=/opt/kafka-logs

4.每个broker代表一个kafka server端,每个broker对应一个server.properties的配置文件,我们搭建运行3个broker的伪分布式环境。配置文件分别为config/server.properties、config/server1.properties、config/server2.properties。

config/server-1.properties:
    broker.id=1
    port=9093
    log.dir=/opt/kafka-logs-1
 
config/server-2.properties:
    broker.id=2
    port=9094
    log.dir=/opt/kafka-logs-2

 

5.启动broker。

bin/kafka-server-start.sh config/server.properties &
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &

 

 

 

 

分享到:
评论

相关推荐

    基于Docker实现单机搭建kafka伪分布式集群

    本教程将有助于小白实现从零开始搭建kafka伪分布式集群

    kafka自定义伪分布式安装.zip

    标题中的“kafka自定义伪分布式安装.zip”表明这是一个关于Apache Kafka的自定义伪分布式安装教程的压缩包。Apache Kafka是一种流行的开源流处理平台,常用于构建实时数据管道和流应用。它允许用户以高吞吐量、低...

    kafka伪分布式集群安装压缩包

    需要的环境支持:jdk8,zookeeper端口为2181,然后将此压缩包的module目录解压到/opt下并直接运行cluster-kafka.sh即可。 注意:端口不能被占用 主要相关文档: ...

    Apache 伪分布式安装教程 傻瓜式教程 步骤详细

    伪分布式安装教程: Flume Hbase Spark Hive Kafka Sqoop zookeeper等分布式系统框架 备注:Hadoop安装教程当时忘记记录,后续也懒得弄,所以上传资料也暂无hadoop安装教程,尽请理解!!!!

    windows下kafka_2.12-2.9.0.rar(含单机伪分布式配置)

    在分布式环境中,通常需要多台服务器来运行Kafka集群,但为了测试或学习目的,可以使用单机上的伪分布式设置,这使得开发者能够在本地环境中快速搭建Kafka实例,而无需复杂的网络配置。 标签中的“kafka”、...

    window 伪分布式kafka集群

    环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...

    Kafka集群调优实战+分布式集群搭建,分布式集群搭建与调优实战,Kafka专家之路!课程内容全程实战,没有拖泥带水

    内容涵盖Kafka集群的核心组件讲解、集群架构设计、分布式集群搭建与伪集群配置,帮助读者快速上手Kafka环境部署。 通过实战案例,深入解析Java Consumer与Producer的高级用法,包括手动提交Offset、数据回溯、...

    大数据组件Kafka讲解.pdf

    关于Kafka的安装和操作,文档介绍了伪分布式安装、集群安装、shell操作和Java操作等实践技能。这为入门者提供了系统学习和动手实践Kafka的机会。 另外,Kafka的出现也预示着传统的企业消息系统使用场景的变迁。比如...

    分布式集群技术.pdf

    综合案例:构建互联网高并发分布式服务器集群是分布式集群技术的实践经验,Hadoop 生态圈简介、Hadoop 伪分布式环境搭建、Hadoop 计算模型 MapReduce 例子说明等内容将为读者提供了分布式集群技术的实践经验。...

    hbase安装和基本介绍

    - **Hadoop**: HBase 需要在 Hadoop 分布式文件系统 (HDFS) 上运行,因此需预先安装配置好 Hadoop。 ##### 2. 下载与解压 - 下载 HBase 的最新版本或者特定版本。 - 将下载好的 HBase 包解压到合适的目录下。 ####...

    深入理解Apache Kafka-初稿.pdf

    Apache Kafka是一款分布式流处理平台,它被广泛应用于构建实时数据管道和流应用程序。Kafka在消息系统领域内占有重要地位,其设计目标是为分布式高吞吐量的发布-订阅消息队列服务。 在第一章中,我们介绍了消息系统...

    基于javaScript开发分布式实时日志分析与入侵检测系统+源码+开发文档+运行教程+结果展示(毕业设计&课程设计&项目开发)

    分布式实时日志分析与入侵检测系统+源码+开发文档+...本文下述的使用方法均面向单机伪分布式环境,你可以根据需求进行配置上的调整以适应分布式部署。 本系统各模块由个人独立开发,期间参考了一些有价值的文献与资料

    大数据技术开发环境搭建.docx

    Hadoop是大数据处理的核心组件,本教程详细介绍了如何安装Hadoop并进行伪分布式配置。伪分布式模式在一个节点上模拟分布式环境,便于测试和学习。启动Hadoop后,可以通过运行Hadoop伪分布式实例来验证配置是否成功。...

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    05-hadoop版本选择和伪分布式安装.avi 06-hadoop版本选择和伪分布式安装2.avi 07-hdfs&mapreduce;测试.avi 08-hdfs的实现机制初始.avi 09-hdfs的shell操作.avi 10-hadoop集群搭建的无密登陆配置.avi 第二天 ...

    [Hadoop] 传智播客新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 第二天 hdfs的原理和使用操作、编程 第三天 mapreduce的原理和编程 第四天 常见mr算法实现和shuffle的机制 第五天 hadoop2.x中HA机制的...

    Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka

    它设计为分布式、容错强且可扩展的系统,适用于从各种源(如网络服务器、应用程序)收集数据,并将其传输到集中式存储系统,如 HDFS 或 Kafka。 本项目重点是将 Flume 配置用于从 MYSQL 和 Oracle 数据库中抽取数据...

    hadoop集群以及插件安装

    接着,进行伪分布式或完全分布式部署,配置core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等配置文件。最后,格式化NameNode,启动Hadoop服务,并通过jps命令检查进程是否正常运行。 【Zookeeper...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作...

    《Spark编程基础及项目实践》试卷及答案2套.pdf

    6. **Spark部署模式**:Spark可以部署为单机模式、单机伪分布式、集群分布式(完全分布式),但没有列分布式这一说法。 7. **Spark Streaming输入数据流**:Kafka、Twitter和TCP套接字都是Spark Streaming常见的...

Global site tag (gtag.js) - Google Analytics