kafka入门

kafka

Kafka是一种分布式，基于发布/订阅的消息系统。
高吞吐量：每秒可处理几十万条记录
分布式：支持热扩展
持久化：消息持久化到磁盘
容错：副本容错
高并发：客户端同时高并发读写

使用背景：
峰值处理能力
统一接口服务
解耦


消息系统介绍：
一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。
分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。
有两种主要的消息传递模式：点对点传递模式、发布-订阅模式。
大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。

点对点模式：
在点对点消息系统中，消息持久化到一个队列中。此时，将有一个或多个消费者消费队列中的数据。
但是一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除。
该模式即使有多个消费者同时消费数据，也能保证数据处理的顺序。

发布-订阅模式：
在发布-订阅消息系统中，消息被持久化到一个topic中。与点对点消息系统不同的是，
消费者可以订阅一个或多个topic，消费者可以消费该topic中所有的数据，同一条数据可以被多个消费者消费，
数据被消费后不会立马删除。在发布-订阅消息系统中，消息的生产者称为发布者，消费者称为订阅者.
发布者发送到topic的消息，只有订阅了topic的订阅者才会收到消息。



kafka-基本概念
生产者(Producer):负责发布消息到Kafka broker
消费者(Consumer):从消息队列中请求消息的客户端应用程序
代理(Borker): kafka集群包含一个或多个服务器，这种服务器被称为broker，准确来讲是一个kafka的服务进程。
生产者推送消息到broker上，消费组从broker上消费消息。


Topic
在实际业务中，通常一个业务对应一个topic
kafka使用topic来组织消息
一个topic消息可以包含多个partition，分布在不同的broker上
一个partition可以指定多个副本
生产消息、订阅消息都需要制定topic

Partition(分区)
一个topic按照多个分区组织消息
增加partition数量，可以提升读写并发
一个partition对应的物理文件:log文件和index文件,每个log文件又被称为segment，索引文件分为offset索引文件
和时间戳索引文件
一个partition可以指定多个副本，但是只有一个副本是leader
partition的读写只能通过leader
segment(log文件)文件名规范：这个文件里面第一条消息的offset-1