Prometheus+Grafana+kafka_exporter搭建监控系统监控kafka
kafka_exporter 通过 Kafka Protocol Specification 收集 Brokers, Topics 以及 Consumer Groups的相关指标，使用简单，运行高效，相比于以往通过kafka内置的脚本进行收集，由于没有了JVM的运行开销，指标收集时间从分钟级别降到秒级别，便于大规模集群的监控。
git项目地址：https://github.com/danielqsj/kafka_exporter
下载地址： https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
docker安装略过
grafana安装
| #docker run -d --name=grafana -v /etc/localtime:/etc/localtime:ro --restart=always -p 3000:3000 grafana/grafana |
prometheus启动
| #docker run -d --name=prometheus -p 9090:9090 --restart=always -v /etc/localtime:/etc/localtime:ro -v /home/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus |
注：提前将需要挂载的目录创建好
#mkdir -pv /home/prometheus/ |
登陆到kafka服务器下载kafka_exporter
|
# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz # cd kafka_exporter-1.2.0.linux-amd64 # ./kafka_exporter --kafka.server=kafkaIP或者域名:9092 & #ss -tunl |
注：9308是kafka_exporter的端口
登陆到prometheus服务器
编写/home/prometheus/prometheus.yml文件
|
#vim /home/prometheus/prometheus.yml scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: 'prometheus' static_configs: - targets: ['localhost:9090']
- job_name: 'kafka' static_configs: - targets: ['kafkaIP或者域名:9308'] labels: instance: [email protected]或者域名 |
重启prometheus
| #docker restart prometheus |
通过浏览器访问：http://prometheus服务器IP:9090,所添加的kafka_exporter状态为UP，就可以去配置grafana
配置grafana
通过浏览器访问：http://grafana服务器IP:3000，
添加数据源，选择prometheus，填入prometheus服务器IP端口，点击保存
导入监控图表
输入7589，光标往下移，如下图
图表数据就出来了
转载于:https://blog.51cto.com/536410/2350106