KAFKA EAGLE 监控 MRS kafka 之操作实践

本文分享自华为云社区《KAFKA EAGLE 监控MRS kafka之操作实践》，作者： 啊喔 YeYe 。

1.Kafka Eagle 简介

Kafka eagle 是一款分布式、高可用的 kafka 监控软件，提供丰富的 kafka 监控指标，例如：Kafka 集群的 Broker 数、Topic 数、Consumer 数、Topic LogSize Top10、Topic Capacity Top10、Lag 挤压，CPU/Memory 监控等。Eagle 新版本中改名为 EFAK，基于版本 3.0.1 对接监控 MRS 3.1.0（普通集群）中的 kafka 集群。

2. Eagle 安装步骤

2.1 修改 MRS kafka jmx 服务的 ip,重启生效

MRS manager 进入 kafka 配置页面，输入 JMX 搜索，修改 KAFKA_JMX_IP 为 ${BROKER_IP}

2.2 把 efak 安装包放到集群目录下，然后解压

tar –xvf kafka-eagle-bin-3.0.1.tar.gzcd kafka-eagle-bin-3.0.1tar –xvf efka-web-3.0.1-bin.tar.gz

2.3 在 opt 目录下新建 efak 目录

把 efka-web-3.0.1 复制到/opt/efka 目录下

2.4 新建环境变量

vim /etc/profileexport KE_HOME=/opt/efka/efka-web-3.0.1PATH 变量后面添加:$KE_HOME/bin 例如：

source /etc/profile

2.5 修改/opt/efka/efka-web-3.0.1/conf/system-config.properties 配置文件

cluster1.zk.list 的值改为 kafka 服务的 metrics.reporter.zookeeper.url 配置项的值

efak.zk.cluster.alias 只保留一个 clusterefak.zk.cluster.alias=cluster1cluster1.zk.list=XXX:2181,XXX:2181,XXX:2181/kafka#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

修改 kafka jmx uri 的配置

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka

修改 kafka mysql jdbc driver address 数据库相关的配置

efak.driver=com.mysql.cj.jdbc.Driverefak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullefak.username=rootefak.password=XXX

2.6 启动 efka 服务

sh /opt/efak/efak-web-3.0.1/bin/ke.sh start

如下启动 ok

2.7 访问 EFKA Webui 默认用户密码：admin/123456

kafka 集群监控

Topic 监控

Consumer 监控

3. 常见问题

问题：无法获取 kafka cpu 与内存监控信息日志提示：

java.io.IOException cannot be cast to javax.management.remote.JMXConnector

原因：jmx 地址配置错误，默认 jmx 地址为：

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/jmxrmi

MRS 内 kafka jmx 名称为 kafka，需要设置为：

cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka

点击关注，第一时间了解华为云新鲜技术~