AI 中文社
Copyright © 2022-2024 aizws.net · 网站版本: v1.2.6·内部版本: v1.23.3·
页面加载耗时 0.00 毫秒·物理内存 69.6MB ·虚拟内存 1299.5MB
欢迎来到 AI 中文社区（简称 AI 中文社），这里是学习交流 AI 人工智能技术的中文社区。 为了更好的体验，本站推荐使用 Chrome 浏览器。
Kafka 基本概念
Kafka 是一个分布式的、可分区的、可复制的消息系统。不仅提供了普通消息系统的功能，还具有自己独特的设计。
Kafka 基本概念包括：主题 Topic、生产者 Producer、消费者 Consumer、集群 Cluster 和 代理 Broker。
1. Kafka 概念之间的关系图
- Kafka producers（生产者）通过网络将消息发送到 Kafka 集群，Kafka 集群负责保存消息，并向消费者提供消息。
- Kafka cluster（集群）负责保存生产者提交的消息，并向消费者提供消息。Kafka 集群有多个 broker（代理服务器）组成。
- Kafka consumers（消费者）通过网络从 Kafka 集群拉取消息，进行消费。
2. 主题 Topic
Kafka 将消息以 Topic 为单位进行分类，每一类的消息称之为一个主题（Topic）。
3. 生产者 Producer
发布消息的对象称之为主题生产者（Kafka topic producer）。生产者通常是一个应用程序。
4. 消费者 Consumer
订阅消息并处理发布消息的对象称之为主题消费者（consumers）。消费者通常也是一个应用程序。
5. 集群 Cluster 和 代理 Broker
已发布的消息保存在一组服务器中，称为 Kafka 集群（cluster）。
Kafka 集群中的每一个服务器都是一个代理（Broker）。
消费者可以订阅一个或多个主题（topic），并从 Broker 拉取数据，从而消费这些已发布的消息。
下一章：Kafka Message 消息
Kafka 消息是指由生产者发送的一条记录，它在 Kafka 中以特定的格式进行存储。随着 Kafka 的迅猛发展，消息格式也在不断的升级改进。Kafka 的消息格式也经历了3个版本：v0、v1 和 v2。Kafka 的消息格式对于使用 Kafka 的开发人员是透明的。也就是说无论是使用生产者发送消息，还是使用消费者使用消息，都无需更关心。