【工作笔记】Linux环境下安装Prometheus+Grafana+node_exporter+tomcat_exporter+alertmanager实现服务器、Tomcat监控

一、安装Prometheus

1、下载安装包放入目录/usr/prometheus/prometheus-2.3.2.linux-amd64.tar.gz

2、解压安装包tar -xzf /usr/prometheus/prometheus-2.3.2.linux-amd64.tar.gz

3、将文件迁移

      cp prometheus-2.3.2.linux-amd64/prometheus /usr/local/bin/

      cp prometheus-2.3.2.linux-amd64/promtool /usr/local/bin/

      cp prometheus-2.3.2.linux-amd64/prometheus.yml /etc/prometheus/

 

      // 创建文件夹

      sudo mkdir -p /data/prometheus

      sudo mkdir -p /etc/prometheus

 

       prometheus.yml初始内容

4、启动prometheus服务 

      prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus

5、访问ip:9090，成功

6、完整命令记录

 

二、安装node_exporter

1、下载安装包放入目录/usr/node_expoter/node_exporter-0.16.0.linux-amd64.tar.gz

2、解压安装包tar -xzf /usr/node_expoter/node_exporter-0.16.0.linux-amd64.tar.gz

 

3、运行node_exporter

 

      node_exporter

      注：这样运行后，关闭窗口node_exporter进程也会随之关闭，可用如下命令

      nohup node_exporter &

      修改端口：nohup node_exporter --web.listen-address=":9101" &

访问ip:9100/metrics，可以看到很多采集到的数据

 

三、prometheus.yml添加node_exporter任务

1、切换到目录cd /etc/prometheus/

2、修改vim prometheus.yml，按i进入编辑，添加如下内容

      1）、将prometheus任务的instance设置名称'prometheus'

      2）、添加node_exporter的任务

2、保存退出esc，:wq回车

3、杀掉prometheus进程

cd

ps -ef|grep prometheus

kill -9 8853

4、重新运行

      prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus

5、访问ip:9090/targets，稍等程序启动

 

四、安装Grafana

1、下载安装包放入目录/usr/Grafana/grafana-5.2.2.linux-amd64.tar.gz

2、解压安装包tar -xzf /usr/Grafana/grafana-5.2.2.linux-amd64.tar.gz

3、运行

      cd /usr/Grafana/grafana-5.2.2

      nohup bin/grafana-server >> out.log &

4、访问ip:3000

      默认账号密码admin/admin

5、添加数据源将Grafana和Prometheus关联起来，点击Add data source，填写内容

 

保存成功

6、添加dashboard

可从https://grafana.com/dashboards选择需要的模版，也可从https://github.com/percona/grafana-dashboards下载，效果如下：

 

五、安装alertmanager

1、在/etc/prometheus目录下创建文件serveroutofwork.yml

      name：规则名称

      alert：报警名称

      expr：报警规则，满足此表达式即进入PENDING状态

      for：持续时间，达到持续时间，状态变为FIRING

      summary：描述

2、在prometheus.yml中，引入创建的规则文件

3、重启prometheus

      prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus

4、测试设置的规则

      1）、杀掉node_exporter进程

      2）、查看alert状态，满足条件，为PENDING状态

      3）、持续时间达到1分钟后，状态变为FIRING

5、编写alertmanager.yml

      repeat_interval：重发间隔

      root中的receiver要与receivers中的一个name对应

      smarthost：网易邮箱：smtp.163.com:25；腾讯企业邮箱：smtp.exmail.qq.com:25

      注：需发送多人，再配置to即可

6、启动

      cd /root/alertmanager-0.15.2.linux-amd64/

      nohup ./alertmanager --config.file="alertmanager.yml" 2>&1 1>log &

7、访问ip:9093

8、重新运行

      prometheus --config.file=/etc/prometheus/prometheus.yml --storage.tsdb.path=/data/prometheus

9、杀掉node_exporter，一分钟后收到邮件

 

六、安装tomcat_exporter

1、https://github.com/nlighten/tomcat_exporter下载相关文件

 

2、下载下图中5个jar包，放到要监控的Tomcat的lib目录下，例如：/usr/local/apache-tomcat-7.0.61/lib

 

3、下载war包，重命名metrics.war，放到Tomcat的webapps目录下，例如：/usr/local/apache-tomcat-7.0.61/webapps

4、重启Tomcat，访问ip:80/metrics即可

5、在prometheus.yml中，添加job

 

6、重启prometheus