¿Cómo exportar alertas de Prometheus en Grafana?
Prometheus nos permite tener alertas con “alertmanager” integrado con varios servicios de comunicación, pero desde mi punto de vista visualizar las alertas desde Prometheus UI carece de accesibilidad. Es por ello que me propuse armar un dashboard que permita escalar a diferentes necesidades, con todas las alertas, por equipo o simplemente por servicio. Como ya trabajo con la integración con Grafana, me puse a analizar de qué forma podía exportar las alertas y tener todo visualizado en una misma integración. Teniendo en cuenta que usted ya creó las alertas en prometheus y tiene configurado alertmanager :
Prometheus, permite exportar sus alertas usando la query ALERTS, así de fácil.
Con Grafana, tenemos varias formas de mostrar estas alertas, una de ella es creando una tabla, escribir en el label query “ALERTS”, esto nos exportará todas las alertas en una tabla. Quedaría como un tradicional sistema de monitoreo, como un nagios,zabbix, o sensu con uchiwa. Como el propósito principal era tener algo accesible, poder jugar con los colores nos permite dar una solución cognitiva y que nos llame la atención y no obviar la alerta en el monitor. Entonces, utilice un dashboard con graficos del tipo singlestat y arme un grafico por alerta.
Por ejemplo, creamos un nuevo dashboard.
Elegimos crear un panel del tipo singlestat.
Editamos el panel, primero elegimos nuestro prometheus como base de datos y escribimos la query. Repetir por cada alerta que queremos tener en el dashboard.
Nos debería quedar algo por el estilo.
De esta forma, podemos tener alertas por namespace en el caso de utilizar kubernetes. Pueden encontrar más información en el sitio de prometheus y de grafana.
