grafana

一、概述 prometheus安装在阿里云上面，监控节点在公司内部机房，2个网络直接是不互通的。 环境说明 阿里云服务器： 操作系统：centos 7.6 数量：1台 公司内部服务器 操作系统：centos 7.6 数量：1台 拓扑图 说明： 1. 公司内部服务器安装node-exporter插件，收集主机信息，通过调用curl命令，将收集的数据以POST方式发送给Pushgateway 2. Pushgateway负责接收数据 3. Prometheus从Pushgateway中拉取数据，结合Grafana做数据展示。 二、部署操作 阿里云服务器 Prometheus和Pushgateway，是直接docker部署的。具体安装操作，请参考链接： https://www.cnblogs.com/xiao987334176/p/9930517.html https://www.cnblogs.com/xiao987334176/p/9933963.html 这里重点要说明的是Prometheus配置Pushgateway时，必须要加一个参数 honor_labels: true - job_name: ' pushgateway ' honor_labels: true static_configs: - targets: [ ' 172.18.156.172:9091 ' ]

1.pulsar概述 　　Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用分层分片架构（backed by durable log/stream storage）。 　　Apache Pulsar 是一个开源的分布式 pub-sub 消息系统，最初是在雅虎创建的，现在是 Apache Software Foundation 的一部分， 是下一代云原生分布式流数据平台。 　　 Apache Pulsar 是服务和存储分离的消息系统，主要分为 Broker 和 BookKeeper 两大模块， Broker 提供服务能力， BookKeeper 提供存储能力。 　　 2.pulsar之于kafka 　　 1. 流式处理和队列的合体 　　Pulsar 就像是一个合二为一的产品，不仅可以像 Kafka 那样处理高速率的实时场景，还能支持标准的消息队列模式，比如多消费者、失效备援订阅和消息扇出，等等。Pulsar 会自动跟踪客户端的读取位置，并把这些信息保存在高性能的分布式 ledger（BookKeeper）当中。 　　与 Kafka 不一样的是，Pulsar 具备传统消息队列（如 RabbitMQ）那样的功能，因此，只需要运行一个 Pulsar 系统就可以同时处理实时流和消息队列。 2. 支持分区，但不是必需的 　

1、监控MySQL（mysqld-exporter） https://github.com/prometheus/mysqld_exporter/releases/download/v0.11.0/mysqld_exporter-0.11.0.linux-amd64.tar.gz （1）被监控mysql机器安装mysqld-exporter 　　#tar -C /usr/local/ -xvf mysqld_exporter-0.11.0.linux-amd64.tar.gz （2）设置配置文件，user为数据库登录用户，password为这个用户的密码 　　vi .my.cnf 　　[client] 　　user=root 　　password=123456 （3）启动mysqld-exporter 　　/usr/local/mysqld_exporter-0.11.0.linux-amd64/mysqld_exporter --config.my-cnf="/usr/local/mysqld_exporter-0.11.0.linux-amd64/.my.cnf" & （4）prometheus配置文件中加入mysql监控并重启 　　vim /usr/local/Prometheus/prometheus.yml 　　默认mysqld-exporter端口为9104 　　-

redis监控，prometheus需要使用redis_exporter客户端。 这里我们采用docker方式部署，既可以部署在redis所在服务器，也可以部署在其他机器： docker镜像地址： https://hub.docker.com/r/oliver006/redis_exporter/tags 1、下载镜像 1 [root@izbp1hjhm96yi3k68wi59rz ~] # docker pull oliver006/redis_exporter 2、运行服务 1 [root@izbp1hjhm96yi3k68wi59rz ~] # docker run -d --name redis_exporter -p 9121:9121 oliver006/redis_exporter --redis.addr redis://172.16.11.51:6379 --redis.password 'Vanje!9201' 参数解释： 　　--redis.addr 指定redis地址，由于这里使用docker起的服务，所以不能使用127.0.0.1地址。 　　--redis.password redis认证密码，如果没有密码，该参数不需要 3、配置 Prometheus 添加redis监控目标主机 1 2 3 4 5 6 7 8 # ## 新增 - job_name:

安装mysql exporter Prometheus MySQL Exporter是一个客户端应用程序，用于获取MySQL指标并导出到Prometheus Server。 在这里，我们将介绍如何在数据库服务器上配置Prometheus MySQL Exporter程序，包括MySQL MariaDB和使用Grafana可视化数据。这将使您能够很好地查看数据库性能，并在遇到问题时知道在何处检查。警报规则的配置超出了本指南的范围，但我将尝试在下一个指南中介绍它。 本指南将有三个主要步骤 Prometheus server的安装和配置 在数据库服务器上安装和配置MySQL Prometheus exporter 创建/导入MySQL Grafana仪表板 - 我们将使用Percona现成的仪表盘。 官方下载地址： https://prometheus.io/download/ github地址： https://github.com/prometheus/mysqld_exporter 下载安装MySQL Exporter 添加Prometheus系统用户和组： sudo groupadd --system prometheus sudo useradd -s / sbin / nologin --system -g prometheus prometheus 该

ImageIt作为Grafana的社区插件，它可以将查询的数据叠加展示在图片上，我们可以利用这一点，创建一个能动态感知的网络拓扑。 具体步骤如下： 1、绘制拓扑图，如下图所示： 上传拓扑图到Grafna的web图片目录/usr/share/grafana/public/img/下。 2、安装ImageIt插件 # grafana-cli plugins install pierosavi-imageit-panel # systemctl restart grafana-server 3、在Grafana中创建Dashboard，并选用ImageIt插件，如下图所示。 ImageIt插件配置面板介绍： ① Settings（设置），Image URL用于指定能访问拓扑图的URL地址；Size Coefficient表示图片大小，可忽略；Show Lock表示为拓扑图增加锁，图上增加的Metrics不能被移动。 ② Sensors（传感器），Metrics用于选择查询metrics的名字；Link表示为该metrics增加url以及鼠标悬停显示文字；Apperance用于设置metrics值显示效果，具体可勾选各功能进行尝试。 Value Mapping作用主要是设置阈值，当超出阈值时显示不同颜色。 最终展示效果如下（本示例用于演示，只添加了部分metrics）

安装 yum -y install docker systemctl start docker docker pull percona/pmm-server:1 docker create -v /opt/prometheus/data -v /opt/consul-data -v /var/lib/mysql -v /var/lib/grafana --name pmm-data percona/pmm-server:1 /bin/true docker run -d -p 80:80 --volumes-from pmm-data --name pmm-server --restart always percona/pmm-server:1 修改配置，主要修改pmm 数据默认保留时长： 进入docker： vi /etc/supervisord.d/pmm.ini --storage.local.retention=120h --storage.tsdb.retention=120h 需要重启docker mysql pmm库占用空间问题，系统空间使用100% agent_log、query_class_metrics、query_global_metrics表，直接truncate 过了一段时间，还是没有数据 尝试重启一个客户端,在进行观察，就有数据了： pmm-admin

上篇文章中，已经完成了基于kubeadm安装的kubernetes集群，本文将基于上述的集群环境，搭建dashboard组件。 安装环境及版本 kubernetes版本及基础组件版本可参考前一篇安装集群环境的文章 dashboard组件：kubernetes-dashboard-v1.10.1 需准备的镜像： k8s.gcr.io/kubernetes-dashboard-amd64:v1.10.1 k8s.gcr.io/heapster-amd64:v1.5.4 k8s.gcr.io/heapster-influxdb-amd64:v1.5.2 k8s.gcr.io/heapster-grafana-amd64:v5.0.4 #!/bin/ bash DASHDOARD_VERSION =v1. 10.1 HEAPSTER_VERSION =v1. 5.4 GRAFANA_VERSION =v5. 0.4 INFLUXDB_VERSION =v1. 5.2 username =registry.cn-hangzhou.aliyuncs.com/ google_containers images = ( kubernetes -dashboard- amd64:${DASHDOARD_VERSION} heapster -grafana- amd64:${GRAFANA

init配置文件与解析 INI配置文件有三要素 parameters 　　指一条配置，就像key = value这样的。 sections 　　sections是parameters的集合，sections必须独占一行并且用[]括起来。 　　sections没有明显的结束方式，一个sections的开始就是另一个sections的结束。 comments 　　指INI配置文件的注释，以 ; 开头。 [DataBase] ServerIP=********** ServerPort=8080 ControlConnectString=QWDJ7+XH6oWaANAGhVgh5/5UxYrA2rfz/ufAkDlN1H9Tw+v7Z0SoCfR+wYdyzCjF/ANUfPxlO6cLDAhm4xxmbADyKs6zmkWuGQNgDZmPx6c= ControlConnectCategory=0 [LogonInfo] SaveUserID=Y UserID=admin DBServer=AppDB DBCenter=Demo [UserConfig] OpenDownloadFileAtOnec=Y WindowStyle=DevExpress Dark Style [Language] Language=CHS [AutoUpdate] Version=1.1 init

互相学习探讨的添加我WX： shaozheng4455 (备注博客园) 介绍： 为了更好的对生产环境的一些中间件和操作系统的运行情况进行可视化的展示，近期了解了下prometheus加上grafana来实现这种效果，由于prometheus是新出来的开源项目，所以，监控的插件还不是很多，但是对基本的一些需求能够满足。 Prometheus 是源于 Google Borgmon 的一个开源监控系统，用 Golang 开发。被很多人称为下一代监控系统。 Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统，不需要任何 SDK 或者其他的集成过程。这样做非常适合虚拟化环境比如 VM 或者 Docker 。 Prometheus 应该是为数不多的适合 Docker、Mesos 、Kubernetes 环境的监控系统之一。 输出被监控组件信息的 HTTP 接口被叫做 exporter 。目前互联网公司常用的组件大部分都有 exporter 可以直接使用，比如 Varnish、Haproxy、Nginx、MySQL、Linux 系统信息 (包括磁盘、内存、CPU、网络等等)。 Grafana 是一个开源的图表可视化系统，简单说图表配置比较方便、生成的图表比较漂亮。但是 Prometheus 还比较新