1. 告警概述

prometheus的告警管理分为两部分。通过在prometheus服务端设置告警规则， Prometheus服务器端产生告警向Alertmanager发送告警。 然后，Alertmanager管理这些告警，包括静默，抑制，聚合以及通过电子邮件，PagerDuty和HipChat等方法发送通知。

设置警报和通知的主要步骤如下：

• 设置并配置Alertmanager；
• 配置Prometheus对Alertmanager访问；
• 在普罗米修斯创建警报规则；

2. 告警管理模块 ALERTMANAGER

分组(Grouping)

示例：

抑制(Inhibition)

示例：

静默(SILENCES)

客户端行为(Client behavior)

3. 配置

wget https://github.com/prometheus/alertmanager/releases/download/v0.13.0/alertmanager-0.13.0.linux-amd64.tar.gz
tar -axvf alertmanager-0.13.0.linux-amd64.tar.gz  #解压即可用

step 1: 访问网站 注册企业微信账号（不需要企业认证）。

step 2: 访问apps 创建第三方应用，点击创建应用按钮 -> 填写应用信息：

4.2详细配置

4.2.1prometheus配置文件修改

vim /server/prometheus/prometheus.yml

global:
  scrape_interval:    60s
  evaluation_interval: 60s

alerting:
  alertmanagers:
    - static_configs:
      - targets: ['localhost:9093']

rule_files:
   - "/server/prometheus/rules.yml"

scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

rules.yml

groups:
- name: prometheus_go_goroutines
  rules:
  - alert: go_goroutines_numbers
    expr: go_goroutines > 100
    for: 15s
    annotations:
      summary: "prometheus的gorotine数据超过100!"
- name: node
  rules:
  - alert: server_status
    expr: up{job="prometheus"} == 0 or up{job="linux"} == 0
    for: 15s
    annotations:
      summary: "机器{{ $labels.instance }} 挂了"
      description: "报告.请立即查看!"

alertmanger 配置：

vim /server/alertmanager/alertmanager.yml

global:
  resolve_timeout: 5m
  wechat_api_corp_id: 'xxxx'
  wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
  wechat_api_secret: 'xxxxx'

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'wechat'
receivers:
- name: 'wechat'
  wechat_configs:
  - send_resolved: true
    to_party: '1'
    agent_id: 1000003
    corp_id: 'xxxx'
    api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
    api_secret: 'xxxxx'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

参数说明：

• corp_id: 企业微信账号唯一 ID， 可以在我的企业中查看。
• to_party: 需要发送的组。
• agent_id: 第三方企业应用的 ID，可以在自己创建的第三方企业应用详情页面查看。
• api_secret: 第三方企业应用的密钥，可以在自己创建的第三方企业应用详情页面查看。

当停掉node_expor就会收到报警测试

修改/server/alertmanager/alertmanager.yml

添加如下

[root@issue /server/alertmanager]# cat alertmanager.yml
global:
  resolve_timeout: 5m
  wechat_api_corp_id: 'xxx'
  wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
  wechat_api_secret: 'xxxx'
templates:
  - '/server/alertmanager/template/wechat.tmpl'
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'wechat'
receivers:
- name: 'wechat'
  wechat_configs:
  - send_resolved: true
    to_party: '2'
    agent_id: 1000003
    corp_id: 'xxx'
    api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
    api_secret: 'xxxx'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

vim /server/alertmanager/template/wechat.tmpl

{{ define "wechat.default.message" }}
{{ range .Alerts }}
========start=========
告警程序: prometheus_alert
告警级别: {{ .Labels.serverity }}
告警类型: {{ .Labels.alertname }}
故障主机: {{ .Labels.instance }}
告警主题: {{ .Annotations.summary }}
告警详情: {{ .Annotations.description }}
触发时间: {{ .StartsAt.Format "2006-01-02 15:04:05" }}
=========end===========
{{ end }}
{{ end }}
~