kafka-monitor

# Xinfra 监控器 Xinfra Monitor（原名 Kafka Monitor）是一个用于实现和执行长期运行的 Kafka 任务的框架。 在真实集群中进行系统测试。它补充了 Kafka 现有的系统。 通过捕获可能发生的潜在错误或回退来进行测试 在长时间或低概率的情况下。此外,它还允许您监控 Kafka 使用端到端流程集群,获取多项衍生的关键统计数据 例如

1. 端到端延迟
2. 服务可用性
3. 生产和消费可用性
4. 消费者偏移量提交可用性
5. 消费者偏移量提交延迟
6. Kafka 消息丢失率
7. 还有许多其他指标。

Xinfra Monitor 可以自动使用指定的配置创建监控主题,并增加监控主题的分区数量,以确保分区数 >= 代理数。此外,它还可以重新分配分区并触发首选领导者选举,以确保每个代理至少担任监控主题的一个分区的领导者。这样,Xinfra Monitor 就可以在每个代理上检测性能问题,而无需用户手动管理监控主题的分区分配。 Xinfra Monitor 与不同的中间层服务（如 li-apache-kafka-clients）一起使用，可用于监控单个集群、流水线目标集群和其他类型的集群，这也是 Linkedin 工程中用于实时集群健康检查的方式。以下是 Xinfra Monitor 实例发出的一些指标。 Xinfra Monitor 支持 Apache Kafka 0.8 到 2.0: - 使用分支 0.8.2.2 与 Apache Kafka 0.8 进行工作 - 使用分支 0.9.0.1 与 Apache Kafka 0.9 进行工作 - 使用分支 0.10.2.1 与 Apache Kafka 0.10 进行工作 - 使用分支 0.11.x 与 Apache Kafka 0.11 进行工作