grafana

正文 前两天，没错确实就是前两天，7.4号我发了一篇：老大要我搭建一个TB级的日志监控系统，听说 ELK 不错，大家看完纷纷点赞，但是今天我就来打脸了，打自己脸。没错，今天推荐下：日志系统新贵Loki 。 在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下Loki的背景。 背景和动机 当我们的容器云运行的应用或者某个节点出现问题了，解决思路应该如下： 我们的监控使用的是基于prometheus体系进行改造的，prometheus中比较重要的是metric和alert,metric是来说明当前或者历史达到了某个值，alert设置metric达到某个特定的基数触发了告警，但是这些信息明显是不够的。我们都知道，k8s的基本单位是pod,pod把日志输出到stdout和stderr,平时有什么问题我们通常在界面或者通过命令查看相关的日志,举个例子：当我们的某个pod的内存变得很大，触发了我们的alert，这个时候管理员，去页面查询确认是哪个pod有问题，然后要确认pod内存变大的原因，我们还需要去查询pod的日志，如果没有日志系统，那么我们就需要到页面或者使用命令进行查询了： 如果，这个时候应用突然挂了，这个时候我们就无法查到相关的日志了，所以需要引入日志系统

一、前言 1、本监控方案主要由smokeping+promethues+grafana组成。smokeping主要数据采集，promethues作为数据存储，grafana数据展示 2、其实smokeping也有自己的展示方案，但是太low太难看，不符合当下装逼的风格，所以果断换成grafana 3、之所以使用promethues，是由于目前的生产环境有一个promethues，可以直接复用，当然也可以选用graphite等 二、环境准备 组件 版本 OS Ubuntu 16.04.4 LTS 三、smokeping smokeping的原理其实很简单，就是使用fping工具ping全国各省的IP，将结果存储在rrd文件当中 安装smokeping root@localhost:/tmp# apt-get install gcc make rrdtool librrds-perl librrds-dev openssh-client libcgi-fast-perl libconfig-grammar-perl libdigest-hmac-perl liblwp-protocol-https-perl liblwp-mediatypes-perl fpint root@localhost:/tmp# ./configure --prefix=/usr/local

1、浅析监控方案 heapster是一个监控计算、存储、网络等集群资源的工具，以k8s内置的cAdvisor作为数据源收集集群信息，并汇总出有价值的性能数据(Metrics)：cpu、内存、network、filesystem等，然后将这些数据输出到外部存储(backend)，如InfluxDB，最后再通过相应的UI界面进行可视化展示，如grafana。 另外heapster的数据源和外部存储都是可插拔的，所以可以很灵活的组建出很多监控方案，如：Heapster+ElasticSearch+Kibana等等。 Heapster的整体架构图： 2、部署 本篇我们将实践 Heapster + InfluxDB + Grafana 的监控方案 。使用官方提供的yml文件有一些小问题，请参考以下改动和说明： 2.1、创建InfluxDB资源对象 apiVersion: apps/v1 kind: Deployment metadata: name: monitoring-influxdb namespace: kube-system spec: replicas: 1 selector: matchLabels: task: monitoring k8s-app: influxdb template: metadata: labels: task: monitoring k8s-app:

prometheus监控redis需要用到redis_exporter。 redis_exporter 项目地址： https://github.com/oliver006/redis_exporter 1、安装部署 我这里的redis部署在192.168.0.254之上，而prometheus服务端是在192.168.75.11上，这个时候，监控的工具redis_exporter可以部署在这两台主机任一一台上，只不过需要注意的是，在配置prometheus.yaml添加监控目标的时候，注意填写对应ip即可。 我这里则部署在了Prometheus Server之上。 cd /usr/local/src wget https://github.com/oliver006/redis_exporter/releases/download/v1.6.1/redis_exporter-v1.6.1.linux-amd64.tar.gz tar -zxv -f redis_exporter-v1.6.1.linux-amd64.tar.gz -C /usr/local/ cd /usr/local/ mv redis_exporter-v1.6.1.linux-arm64/ redis_exporter 2、redis_exporter 用法 解压后只有一个二进制程序就叫 redis

下载地址： 【中级班】 链接： https://pan.baidu.com/s/1NXboN3REOEhKUa0KLx6x7w 提取码：hnur 【高级班】 链接： https://pan.baidu.com/s/1eYNq74qRnc1au3gnHU62jw 提取码：brjd 目录： 【01】：开班仪式 开班仪式：同学认识，内容综述及学习建议(3月3日 20:10-22:00) 【02】：Kubernetes 入门（上）-重新认识Docker 第1章：为什么要用容器？(3月8日 09:00-10:00) 第1章：Docker 基本使用(3月8日 10:00-12:00) 第1章：手把手教你制作镜像（Dockerfile）(3月8日 14:00-15:00) 第1章：Habor镜像仓库，企业Jenkins CI平台(3月8日 15:00-17:00) 第1章：Prometheus+Grafana 监控 Docker(3月8日 17:00-18:00) 【03】：Kubernetes 入门（下） 第2章：K8S 产生背景，核心概念(3月15日 09:00-10:00) 第3章：快速部署一个K8S集群（kubeadm）(3月15日 10:00-12:00) 第4章：kubectl命令行管理工具(3月15日 14:00-15:00) 第5章：服务编排（YAML）(3月15日 15:00

个人视频汇总 1、2020年深入浅出prometheus+grafana 企业监控应用 https://edu.51cto.com/sd/d075b 2、2020年深入浅出zabbix5.0 企业应用实战 https://edu.51cto.com/sd/8f88b 3、2020年Jumpserver堡垒机版本1.5.8企业落地实践 https://edu.51cto.com/sd/84158 4、2020年Redis5.0 从入门到企业应用实战视频教程 https://edu.51cto.com/sd/aa00f 5、2020年MongoDB 企业应用实战 基础 复制集 分片集群 https://edu.51cto.com/sd/1766d 6、2020年MySQL5.7系列实战课程--主从复制篇 https://edu.51cto.com/sd/c5e81 7、2020年MySQL5.7系列实战课程--高可用MHA与读写分离Atlas应用实战 https://edu.51cto.com/sd/f7955 来源： oschina 链接： https://my.oschina.net/u/4339343/blog/4365164

prometheus监控MySQL需要用到mysql_exporter。 mysql_exporter 项目地址： https://github.com/prometheus/mysqld_exporter 1、安装部署 我这里的mysql部署在192.168.0.254之上，而prometheus服务端是在192.168.75.11上，这个时候，监控的工具mysql_exporter可以部署在这两台主机任一一台上，只不过需要注意的是，在配置prometheus.yaml添加监控目标的时候，注意填写对应ip即可。 我这里为了方便则部署在了192.168.75.11之上。 cd /usr/local/src wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz tar -zxv -f mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /usr/local/ cd /usr/local/ mv mysqld_exporter-0.12.1.linux-amd64/ mysqld_exporter 2，授权连接。 想要获取监控数据，需要授权程序能够连接到MySQL。

系统环境： Prometheus Operator版本： 0.29 Kubernetes 版本： 1.14.0 一、Traefik 配置文件设置 Prometheus 要监控 Traefik 控制器，首先要控制 Traeik 将 Metrics 数据暴露出来，这需要在配置文件中加入下面配置： [ metrics] [ metrics.prometheus] entryPoint = "traefik" buckets = [ 0.1, 0.3, 1.2, 5.0] 安装 Traefik 时候已经将配置文件外挂到 Kubernetes ConfigMap 中，详情可以参考 Kubernetes 部署 Traefik Ingress 一文。 例如，集群中将 Traefik 配置文件挂载到 Kubernetes ConfigMap 中，可以用 “kubectl etid” 命令编辑 Traefik 配置文件，加上 Prometheus 配置，这里提供本人完整配置如下： $ kubectl edit ConfigMap traefik-config -n kube-system apiVersion: v1 data: traefik.toml: | # traefik.toml debug = true InsecureSkipVerify = true