之前我们搭建好了监控环境并且监控了服务器、数据库、应用，运维人员可以实时了解当前被监控对象的运行情况，但是他们不可能时时坐在电脑边上盯着DashBoard，这就需要一个告警功能，当服务器或应用指标异常时发送告警，通过邮件或者短信的形式告诉运维人员及时处理。接下来就来介绍非常重要的功能——告警。
Prometheus将数据采集和告警分成了两个模块。报警规则配置在Prometheus Servers上，然后发送报警信息到alertManger等告警系统，然后在告警系统管理这些报警信息、聚合报警信息、然后通过email、短信等方式发送消息提。目前，实现告警功能主要有以下几种方式：
- 使用prometheus提供的Alertmanager告警组件（功能全面，告警规则配置比较复杂）。
- OneAlert等其他第三方组件（配置简单，可以实现短信、电话、微信等多种告警方式，但是依赖第三方平台，而且是收费的）
- Grafana 等自带的告警功能（配置简单）
相比于Grafana的图形化界面，Alertmanager需要依靠配置文件实现，虽然配置比较繁琐，但是胜在功能强大灵活。接下来我们就使用Alertmanager一步一步实现告警通知。
二、Grafana告警新版本的Grafana提供了告警配置，直接在dashboard监控panel中设置告警即可。Grafana 支持多种告警方式，这里以邮件为例，演示Grafana如何设置邮件告警功能。
2.1 配置邮件服务step1：要启用 email 报警需要在启动配置文件中 /conf/default.ini开启 SMTP 服务，具体配置如下：
[smtp]
enabled = true
host = smtp.163.com:25
user = xxx@163.com # 邮件地址
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = xxx # 授权码
cert_file =
key_file =
skip_verify = true
from_address = xxx@163.com # 发件人地址
from_name = Grafana
ehlo_identity = dashboard.example.com
[emails]
welcome_email_on_sign_up = false
templates_pattern = emails/*.html
content_types = text/html
这里的邮箱服务使用的是163的邮箱服务，需要提前打开邮箱的SMTP服务并申请授权码，示例中的邮箱地址和密码请换成自己的邮箱和授权码。
step2：重启Grafana，验证邮件是否配置成功，点击页面上的 Alerting | Contact points 添加Contact Points。
点击页面上的 New contact point 按钮，添加一个邮件通知渠道。
选择邮件方式，并输入收件人的邮箱后保存即可，验证邮箱是否配置成功，点击 Test 按钮，Grafana 会发送一封测试邮件到收件人邮箱。如果能收到邮件，说明配置成功。
2.2 配置告警规则配置好邮件发送和接收的Contact Points 之后，接下来我们配置Grafana的告警规则。
step1：创建告警告警规则，首先在某个Panel 上面的下拉箭头中，选择 Edit | Alert。
step2：接下来点击 Create alert from this panel 按钮，给此panel 创建告警规则。
如上图所示，我们以node_memory_MemFree_bytes （服务器可用内存）指标为例，设置告警规则：当服务器可用内存低于4.65G 时告警。
step3：告警名称，间隔时间等设置。
step4：设置完其他相关的参数之后，点击Save 保存，即可查看告警的情况。
如上图所示，Grafana已经产生了一条Pending状态的告警的记录，当此记录变为Firing状态就说明已经告警成功，并发送了邮件通知。
以上，我们把Grafana的告警功能介绍完了，Grafana虽然比较直观，但是相比Alertmanager而言不够灵活，不支持变量，如果系统不复杂的话，可以考虑使用Grafana。
三、Alertmanager3.1 告警类型Alertmanager提供了以下两种告警方式：
- 邮件接收器 email_config，发送邮件通知；
- Webhook接收器 webhook_config，使用post方式向配置的url地址发送数据请求。
step1：安装Alertmanager
首先在prometheus官网，下载Alertmanager组件，并上传到服务器解压即可。
# 解压到/usr/local/prometheus目录下：
tar -zxvf alertmanager-0.24.0.linux-amd64.tar.gz -C /usr/local/prometheus
# 修改目录名：
cd /usr/local/prometheus
mv alertmanager-0.24.0.linux-amd64 alertmanager-0.24.0
step 2：配置Alertmanager
修改alertmanager.yml 文件，增加Email等相关配置，具体如下：
global:
resolve_timeout: 5m # alertmanager在持续多久没有收到新告警后标记为resolved
smtp_from: 'xxx@163.com' # 发件人邮箱地址
smtp_smarthost: 'smtp.163.com:25' # 邮箱smtp地址
smtp_auth_username: 'xxx@163.com' # 发件人的登陆用户名，默认和发件人地址一致
smtp_auth_password: 'xxx' # 发件人的登陆密码，有时候是授权码
smtp_hello: '163.com'
smtp_require_tls: # 是否需要tls协议。默认是true
route:
group_by: [alertname] # 通过alertname的值对告警进行分类
group_wait: 10s # 一组告警第一次发送之前等待的时延，即产生告警10s将组内新产生的消息合并发送，通常是0s~几分钟（默认是30s）
group_interval: 2m # 一组已发送过初始告警通知的告警，接收到新告警后，下次发送通知前等待时延，通常是5m或更久（默认是5m）
repeat_interval: 5m # 一组已经发送过通知的告警，重复发送告警的间隔，通常设置为3h或者更久（默认是4h）
receiver: 'default-receiver' # 设置告警接收人
receivers:
- name: 'default-receiver'
email_configs:
- to: 'xxx@163.com'
send_resolved: true # 发送恢复告警通知
inhibit_rules: # 抑制规则
- source_match: # 源匹配级别，当匹配成功发出通知，其他级别产生告警将被抑制
severity: 'critical' # 告警时间级别（告警级别根据规则自定义）
target_match:
severity: 'warning' # 匹配目标成功后，新产生的目标告警为'warning'将被抑制
equal: ['alertname','dev','instance'] # 基于这些标签抑制匹配告警的级别
这里的邮箱服务使用的是163的邮箱服务，需要提前打开邮箱的SMTP服务并申请授权码，示例中的邮箱地址和密码请换成自己的邮箱和授权码。
配置文件比较复杂，可以使用./amtool check-config alertmanager.yml 命令校验文件是否正确。
step 3：启动运行
配置文件修改完成后，接下来我们将Alertmanager运行起来，具体命令如下：
#alertmanager
cd /usr/local/prometheus/alertmanager-0.24.0
#执行启动命令，指定数据访问的url
alertmanager --config.file=/usr/local/prometheus/alertmanager-0.24.0/alertmanager.yml
命令执行成功后，在浏览器中访问：http://10.2.1.231:9093/ 默认端口9093
如上图所示，我们成功打开Alertmanager 管理页面，说明Alertmanager配置、启动成功。
3.3 将Alertmanager添加到Prometheus前面我们说了，告警规则是配置在Prometheus Servers上，然后发送报警信息到AlertManger中的，那么接下来我们把Alertmanager添加到Prometheus中。
step1： Prometheus告警配置
修改prometheus.yml 配置文件，增加告警地址和告警规则，具体配置如下：
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets: [10.2.1.231:9093]
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
# 加载指定的规则文件
rule_files:
- "first.rules"
- "rules/*.yml"
上面的配置，主要是配置Alertmanager的地址和规则文件加载路径。告警规则读取prometheus目录的rule下的所有以yml结尾的文件。
step2：配置告警规则
前面在prometheus.yml 中配置了规则的路径，所以，接下来在prometheus的根目录下创建rules目录。这里以服务器资源状态状态为例，制定cpu、内存、磁盘的告警。创建pods_rule.yaml文件。具体配置如下：
groups:
- name: alertmanager_pod.rules
rules:
- alert: Pod_all_cpu_usage
expr: (sum by(name)(rate(container_cpu_usage_seconds_total{image!=""}[5m]))*100) > 1
for: 2m
labels:
serverity: critical
service: pods
annotations:
description: 容器 {{ $labels.name }} CPU 资源利用率大于 10% , (current value is {{ $value }})
summary: Dev CPU 负载告警
- alert: Pod_all_memory_usage
expr: sort_desc(avg by(name)(irate(node_memory_MemFree_bytes {name!=""}[5m]))) > 2147483648 # 内存大于2G
for: 2m
labels:
severity: critical
annotations:
description: 容器 {{ $labels.name }} Memory 资源利用大于 2G , (current value is {{ $value }})
summary: Dev Memory 负载告警
- alert: Pod_all_network_receive_usage
expr: sum by(name)(irate(container_network_reveive_bytes_total{container_name="POD"}[1m])) > 52428800 # 大于50M
for: 2m
labels:
severity: critical
annotations:
description: 容器 {{ $labels.name }} network_receive 资源利用大于 50M , (current value is {{ $value }})
- alert: node内存可用大小
expr: node_memory_MemFree_bytes < 5368709120 # 内存小于5G
for: 2m
labels:
severity: critical
annotations:
description: node可用内存小于5G
step3： 重启Prometheus
配置完成后重启Prometheus，访问Prometheus查看告警配置。在浏览器中输入：http://10.2.1.231:9090/alerts 查看告警配置是否成功。
如上图所示，我们在Prometheus的Alerts下可以看到对应的告警配置。FIRING说明告警已成功。
此时Alertmanager应该相关的告警数据。打开http://10.2.1.231:9093/#/alerts 查看报警情况。
如上图所示，Alertmanager收到了Prometheus发过来的告警消息，前面我们在Alertmanager中配置了邮件地址，可以去邮箱中查看是否收到邮件。
Alertmanager的告警内容支持使用模板配置，可以使用邮件模板进行渲染，感兴趣的话也可以试试！
最后以上，我们就把Prometheus如何告警介绍完了，告警功能非常重要，告警规则的设置比较复杂，最好能够多熟悉熟悉相关的设置。
,
