Kafka 监控

Apache Kafka 是一个分布式系统，其中的主题在各个节点之间进行分区和复制。它还支持容错和持久性。可能有故障排除的机会。因此，需要管理和监控不同的 Kafka 活动。各种 Kafka 监控工具用于监控和显示纠正措施。

在 Kafka 监控下执行以下活动:

1) 跟踪已使用的系统资源

Kafka 应用程序管理器使用户能够自动监控和发现 Kafka 服务器。它还跟踪资源利用率的详细信息，例如磁盘存储、CPU、内存等。这有助于管理器确保用户不会耗尽资源管理器还确保服务器持续运行并发送警报每当资源消耗增加时。

2) 密切关注线程和 JVM 使用情况

Apache Kafka 依赖 java 垃圾收集器来释放内存.这是因为java应用程序一般运行在java虚拟机中。因此，在 Kafka 集群中执行的活动越多，垃圾收集器的执行次数就越多。使用监控工具跟踪 JVM 堆大小变得很简单。该工具还允许用户使用峰值、活动线程数和守护进程等指标跟踪线程利用率。

3) 了解控制器、代理和复制的统计信息

在 Kafka 集群中，只有一个领导者(代理)控制并管理分区和副本状态。使用 Kafka 监控工具可以轻松查看活跃的领导者。主动控制器可以在某些问题发生时找出主动领导者。应用程序管理器还监控代理的日志刷新延迟。日志刷新延迟与管道数量成正比。

4) 监控网络以及主题详细信息

应用程序管理器监控工具保留记录网络使用情况，并汇总代理主题的传出和传入字节率，以收集更多信息。

5) 管理故障并快速排除故障

Apache Kafka具有容错功能。因此，很容易确定和分析故障。这提高了 Kafka 集群的性能。

6) 提供有关每个性能指标的数据丰富的报告

Kafka 监控工具针对每个必要的性能创建评估报告属性。这些广泛的报告可帮助用户了解整体性能指标。

注意: Apache Kafka 也提供远程监控功能。通过设置环境变量"JMX_PORT"通过 JMX 启用此功能。它对基本的 Kafka 指标执行图表和警报。访问 Apache Kafka 官网的文档了解更多信息。

下一章：Kafka Connect

Kafka Connect 是一种在 Kafka 和其他系统之间可靠且可扩展地传输数据的工具。它是一个让 Kafka 与外部系统连接的开源组件和框架。有一些连接器可以帮助将大量数据集移入和移出 Kafka 系统。 ...

上一章：Kafka 实时示例

下一章：Kafka Connect