`
Franciswmf
  • 浏览: 800642 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

Kafka--轻量级、分布式的消息系统

 
阅读更多
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。
相关术语:
【Broker】
Kafka集群包含一个或多个服务器,这种服务器被称为broker
【Topic】
每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
【Partition】
Partition是物理上的概念,每个Topic包含一个或多个Partition.
【Producer】
负责发布消息到Kafka broker
【Consumer】
消息消费者,从Kafka broker读取消息的客户端。
【Consumer Group】
每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)。


参考博客:
--Kafka学习(二):Kafka的基本结构和概念
http://blog.csdn.net/zuoanyinxiang/article/details/50890322
--Kafka剖析(一):Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1

-kafka配置文件
http://donald-draper.iteye.com/blog/2397000

--RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
http://blog.csdn.net/linsongbin1/article/details/47781187
分享到:
评论

相关推荐

    kafka-2.13-3.4.0.tgz

    Kafka 2.13-3.4.0版本包含Kafka Streams库,它是一个轻量级的流处理库,可以直接在Kafka集群上运行,用于构建实时数据处理应用。 8. **Kafka Connect**: Kafka Connect提供了一种标准接口,用于集成其他系统,如...

    kafka-2.10-0.10.2.1.zip

    - Kafka Streams:轻量级的库,用于在Kafka集群内进行流处理。 了解这些基本概念后,你可以开始在Windows环境下搭建Kafka,体验其强大的消息传递和流处理功能。在实际应用中,还需要考虑监控、安全、性能调优等...

    Apache Kafka 2.8.1 (kafka-2.8.1-src.tgz源代码)

    8. **Kafka Streams**:这是Kafka自带的轻量级流处理库,允许开发者在Kafka集群内进行简单的流处理,无需额外的计算资源。 9. **Zookeeper集成**:Kafka依赖Zookeeper进行集群协调和管理,包括分配分区、维护消费者...

    kafka-manager

    不过,作为一款轻量级的监控解决方案,Kafka-Manager无疑为Kafka的日常管理和故障排查提供了极大的便利。 总的来说,Kafka-Manager是Kafka使用者的得力助手,它以简洁的界面和强大的功能,使得Kafka集群的监控变得...

    KAFKA分布式消息系统(linux)

    - **Kafka Streams**:Kafka自带的轻量级流处理库,可以在Kafka内部进行实时处理。 - **Kafka Connect**:允许无缝地连接Kafka与外部系统,如数据库、Elasticsearch等。 - **Replication与故障转移**:Kafka的分区有...

    kafka-eagle

    7. **易于部署和扩展**:Kafka-eagle设计为轻量级应用,部署简单,且能够随着Kafka集群规模的扩大而轻松扩展。 在下载Kafka-eagle压缩包后,用户通常需要按照以下步骤进行安装和配置: 1. **解压文件**:将下载的`...

    Kafka-Grpc_kafka_assignment_

    5. **Kafka-GRPC桥接**:在“Kafka-Grpc_kafka_assignment_”中,GRPC被用来作为Kafka的客户端接口,为应用程序提供轻量级、高效的访问方式。通过GRPC,我们可以构建更细粒度的服务接口,优化请求响应时间,提高系统...

    kafka-3.2.0-src

    8. **Kafka Streams**:Kafka 自带的轻量级流处理库,允许开发者在应用程序内部直接处理流数据。 通过学习和使用 "kafka-3.2.0-src",开发者可以深入了解 Kafka 的工作原理,定制 Kafka 组件,或者对 Kafka 进行...

    Go-Netlog-一个轻量级HTTP-centric基于日志(Kafka风格)的消息队列

    **Go-Netlog:构建轻量级HTTP-Centric Kafka风格消息队列** Go-Netlog 是一款用 Go 语言开发的轻量级消息队列,它借鉴了 Apache Kafka 的设计理念,但更注重HTTP协议,使其更适合现代Web服务的集成与通信。在本文中...

    kafka-2.13-3.5.0+scala-2.13.2

    7. **Kafka Streams**:Kafka自带的轻量级流处理库,可以在Kafka主题之间转换和聚合数据,实现简单的流处理应用。 8. **Schema Registry**:用于管理Avro、JSON Schema等数据格式的元数据,确保数据的一致性和兼容...

    kafka_2.12-1.0.0

    8. **Kafka Streams**:这是Kafka内置的轻量级流处理库,可以直接在Kafka topic之间进行复杂的数据处理。 9. **Zookeeper依赖**:Kafka 1.0.0版本仍依赖于Zookeeper进行集群管理和协调。 10. **配置优化**:Kafka ...

    kafka2.11-1.0.0.tgz.zip

    - **Kafka Streams**:轻量级流处理库,直接在Kafka上进行实时计算。 - **KSQL**:用于在Kafka上进行SQL查询的流处理工具。 - **Spark Streaming、Flink等**:与Kafka集成,实现复杂的数据流处理和分析。 总结,...

    kafka-2.2.1-src.tgz

    Kafka还提供了Kafka Streams库,这是一个轻量级的流处理库,可以直接在Kafka的生产者和消费者之上构建复杂的流处理应用程序。 通过分析`kafka-2.2.1-src`源码,我们可以更深入地理解Kafka的内部实现,例如消息的...

    Python库 | eventcore-kafka-0.3.3rc2.tar.gz

    eventcore-kafka是Python中的一个轻量级库,它提供了对Apache Kafka的高度封装,使得Python开发者能够以简洁、直观的方式操作Kafka。该库的版本0.3.3rc2包含了多项优化和改进,旨在提高性能和稳定性。通过eventcore-...

    最新版kafka-2.13-3.3.1

    Kafka Streams 是一个轻量级的客户端库,用于在 Kafka 集群上进行实时流处理。新版本可能包含性能提升、新的算子或改进的错误处理。 7. **KSQLDB** KSQLDB 是一个用于 Kafka 的流处理 SQL 引擎,使得用户可以通过...

    Kafka-0.8.1.1

    kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中。

    功能:实现kafka消息实时落地hbase,支持csv-json字符串两种格-flink-kafka-hbase.zip

    JSON(JavaScript Object Notation)则是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成,更适合表示复杂的数据结构。 5. **Flink与Kafka的整合**: Flink可以通过Kafka连接器读取Kafka...

    kafka-分布式消息系统

    Kafka是一种分布式消息系统,由Apache开发,设计用于高吞吐量的实时处理。它作为一个消息中间件,能够有效地解耦生产者和消费者,提供数据冗余和容错能力,同时支持大规模并发处理和顺序处理。 解耦和扩展性是Kafka...

    kafka-2.6.0-src.tgz

    8. **Kafka Streams**:Kafka Streams是Kafka提供的轻量级流处理库,基于Java和Scala。它简化了在Kafka上构建实时流应用程序的过程,提供了窗口、聚合和状态管理等功能。 9. **监控与管理**:Kafka提供了丰富的JMX...

    kafka_2.13-3.1.0

    最后,Kafka Streams是Kafka内置的轻量级流处理库,可以直接在Kafka集群上进行流处理,避免了数据搬移的开销。在3.1.0版本中,Kafka Streams的性能和功能都得到了增强,包括更灵活的窗口操作和状态管理,使得实时...

Global site tag (gtag.js) - Google Analytics