Kafka 基本概念

Kafka 是一个分布式的、可分区的、可复制的消息系统。不仅提供了普通消息系统的功能,还具有自己独特的设计。

Kafka 基本概念包括:主题 Topic、生产者 Producer、消费者 Consumer、集群 Cluster 和 代理 Broker。

1. Kafka 概念之间的关系图

  • Kafka producers(生产者)通过网络将消息发送到 Kafka 集群,Kafka 集群负责保存消息,并向消费者提供消息。
  • Kafka cluster(集群)负责保存生产者提交的消息,并向消费者提供消息。Kafka 集群有多个 broker(代理服务器)组成。
  • Kafka consumers(消费者)通过网络从 Kafka 集群拉取消息,进行消费。

2. 主题 Topic

Kafka 将消息以 Topic 为单位进行分类,每一类的消息称之为一个主题(Topic)。

3. 生产者 Producer

发布消息的对象称之为主题生产者(Kafka topic producer)。生产者通常是一个应用程序。

4. 消费者 Consumer

订阅消息并处理发布消息的对象称之为主题消费者(consumers)。消费者通常也是一个应用程序。

5. 集群 Cluster 和 代理 Broker

已发布的消息保存在一组服务器中,称为 Kafka 集群(cluster)。

Kafka 集群中的每一个服务器都是一个代理(Broker)。

消费者可以订阅一个或多个主题(topic),并从 Broker 拉取数据,从而消费这些已发布的消息。

下一章:Kafka Message 消息

Kafka 消息是指由生产者发送的一条记录,它在 Kafka 中以特定的格式进行存储。随着 Kafka 的迅猛发展,消息格式也在不断的升级改进。Kafka 的消息格式也经历了3个版本:v0、v1 和 v2。Kafka 的消息格式对于使用 Kafka 的开发人员是透明的。也就是说无论是使用生产者发送消息,还是使用消费者使用消息,都无需更关心。