grafana

我用 docker 部署 prometheus

可紊 提交于 2020-08-05 05:11:14
安装 Master 首先把所以机器名配置在 /etc/hosts 文件中。 配置文件 : /etc/prometheus/prometheus.yml 内容如下: global: scrape_interval: 15s evaluation_interval: 15s alerting: alertmanagers: - static_configs: - targets: rule_files: scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'node_export' static_configs: - targets: - server1:9100 - server2:9100 启动命令 docker run \ --name prometheus \ -d -p 9090:9090 \ -v /etc/hosts:/etc/hosts \ -v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \ prom/prometheus \ --web.read-timeout=5m \ --config.file=/etc/prometheus

prometheus 数据查询

旧时模样 提交于 2020-08-05 05:05:42
安装 学习了表达式可以再 Grafana 中直接使用 1.标签表达式 =: 精确地匹配标签给定的值 !=: 不等于给定的标签值 =~: 正则表达匹配给定的标签值 !~: 给定的标签值不符合正则表达式 正则表达式要写为.+或这.* 2.简单的使用 3.时间区间过滤 s - seconds m - minutes h - hours d - days w - weeks y - years 时间区间必须用[] http_server_requests_seconds_count{job="PingPangChat",method=~"POST|GET"}[1m] offset偏移修饰符必须直接跟在选择器后面 不用[] 在当前时间基准的基础上往前推进指定offset时间作为基准时间 count(http_server_requests_seconds_count{job="PingPangChat",method=~"POST|GET"} offset 5m) 3.函数 rate、irate计算范围向量中时间序列的每秒即时增长率, 注意这里要配合时间来用 irate适合快速变化的计数器(counter),而rate适合缓慢变化的计数器(counter) sort、sort_desc 排序 数据量最多的前几位 topk(10,http_server_requests_seconds

Elasticsearch常用工具清单

江枫思渺然 提交于 2020-07-29 09:50:06
一、基础类工具 1、Head插件 ES集群状态查看、索引数据查看、ES DSL实现(增、删、改、查),比较适用json串的格式化 参考地址:http://mobz.github.io/elasticsearch-head/ 2、kibana工具 除了支持各种数据的可视化之外,最重要的是:支持Dev Tool进行RESTFUL API增删改查操作。 ——比Postman工具和curl都方便很多。 参考地址:https://www.elastic.co/products/kibana 3、ElasticHD工具 支持sql转DSL 参考地址:https://github.com/360EntSecGroup-Skylar/ElasticHD 4、cerebro工具 参考地址:https://github.com/lmenezes/cerebro 5、Elaticsearch-HQ工具 管理elasticsearch集群以及通过web界面来进行查询操作 参考地址:https://github.com/royrusso/elasticsearch-HQ 6、Elaticsearch-migration工具 支持多版本间数据迁移,使用sroll + bulk 参考地址:https://github.com/medcl/elasticsearch-migration 7

grafana快速搭建数据平台

老子叫甜甜 提交于 2020-07-29 09:12:05
grafana快速搭建数据平台 说到平台开发,企业可能都会遇到过这样的情况,耗时多、人力成本高,进而导致开发效率低。那么如何快速开发数据平台呢?相信通过我今天的分享,将会对你在进行数据平台开发时,提供强有力的帮助。大家也可以搜索 腾讯课堂、网易云课堂-《grafana运维监控与数据分析》 接下来我将以一种最简单的方式,来分享一下怎样快速开发,通过我讲到的解决方式来操作,可以说,对于初创型公司来说,相信可以节约很多时间和人力成本。 我们都知道,数据平台就是用来分析公司业务数据的,一般是以浏览器的形式进行数据浏览,并且它还有个特点,就是能够根据时间动态数据变化,这样方便运营或市场等人员进行决策。 一般的数据平台里边,包含各种业务类型的指标,例如DAU(日活)、PV(访问量)等,可以说,这些都是公司管理者们很关注的数据,从而体现数据平台的价值。(图1) 那这个数据平台,如何进行开发呢,传统方案里一般涉及三类人员,架构也是一样。 前端,负责页面设计。后端,负责前端以及底层数据对接、接口开发等。数据,负责提供数据存储。 传统方案里,人员配置、机器配置较多,一般初创型公司投入较大,并且工期较长。面对这样的情况,那么我们如何做,才能快速进行开发,建立数据平台呢? 这里我给出的答案是:去掉前、后端开发。让页面直接对接底层数据,去除前、后端开发逻辑,这样既节省了人员成本,又缩短了开发工期

GitLabRunner和流水线的数据采集与监控

妖精的绣舞 提交于 2020-07-29 08:59:15
本文主要阐述如何配置GitLabRunner和GitLabCI/CD流水线的数据采集与监控。 1.1 配置GitLab Runner监控 GitLab Runner本地具有Prometheus指标,可以访问嵌入式HTTP服务器,通过 /metrics 路径公开。该服务器(如果已启用)可以被Prometheus监视系统抓取,或通过任何其他HTTP客户端进行访问。 公开的信息包括: Runner业务逻辑指标(例如,当前正在运行的作业数) Go特定的流程指标(垃圾收集统计信息,goroutines,memstats等) 常规指标(内存使用情况,CPU使用情况,文件描述符使用情况等) 这些指标是运维人员监视和了解GitLab Runners的一种方式。例如,您可能会对Runner主机上的平均负载和作业数量感兴趣。 Runner默认是没有开启内置的HTTP服务,可以通过两种方式配置指标HTTP服务器: 在 config.toml 文件中配置全局选项 listen_address 。 在Runner启动的时候添加 --listen-address 命令选项。 在这里我直接修改的 config.toml 文件,内容参考如下: $ cat config.toml listen_address = "[::]:9252" concurrent = 10 check_interval = 30 log

可扩展的微服务演示 Kubernetes Istio Kafka

倖福魔咒の 提交于 2020-07-29 03:08:13
云栖号资讯:【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 本文将演示使用 Kafka 的异步通信的高度可扩展微服务应用。 系列内容 本系列使用不同的技术创建相同的可伸缩微服务应用程序: 1.本文 2.使用 AWS Lambda Kinesis 的可扩展的无服务器微服务演示 3.使用 Knative 和 Kafka 的可扩展的无服务器微服务演示(计划中) 本文关于什么? 本文描述了使用 Kubernetes,Istio 和 Kafka 的高度可扩展的微服务演示应用程序。通过同步的 REST API 调用,可以创建用户。在内部,所有通信都是通过 Kafka 异步完成。 Image 1:Architecture overview Kafka 消费者/生产者 “用户审批服务” 会根据 Kafka 主题中有多少未处理的消息自动缩放(HPA)。还有一个节点/集群缩放器。 我们将扩展到每秒23000个 Kafka 事件,11个 Kubernetes 节点和280个 Pod。 Image 2:Results overview 该应用程序完全使用 Terraform 编写,并且可以使用一条命令来运行。 技术栈 Terraform (Azure)Kubernetes、MongoDB、Container Registry (ConfluentCloud

第一次Grafana使用心得(X轴与Y轴、SqlServer)

大兔子大兔子 提交于 2020-07-28 22:27:18
1.图表在鼠标放上去不显示Y轴具体值:由图中的“字符串”改成“none”。 2.图中的decimal可以设置成整数 3.图中的rotate表示y轴的倾斜度,可以设置。例如:30 4.图中的format可以设置y轴的数据值 5.第一次用SQL server的设置 来源: oschina 链接: https://my.oschina.net/u/4394438/blog/4399187

运维告警管理—多渠道的通知必达

心不动则不痛 提交于 2020-07-28 11:30:46
睿象云 智能告警平台 CA 中通知策略实现了被分派人接收告警的通知方式,确保告警发生/认领/关闭时,能以用户习惯的接收告警的方式,实时收到告警通知,同时,尽可能减少告警遗漏。 如果你想实现电话、短信、微信、邮件、APP,5种通知方式,您需要: • 个人信息中,填写正确的电话号码;点击右上角 个人中心可修改手机号 • 个人信息中,填写正确的邮箱地址;点击右上角 个人中心可修改邮箱 • 个人信息中,绑定并关注 Cloud Alert 微信公众号; 扫描下方二维码,下载APP,安装,登陆。 为满足大部分客户的个性化通知需求,通知策略包含6个部分: 1. 告警状态; 2. 通知时间; 3. 告警级别; 4. 延迟策略; 5. 通知方式; 6. 通知人。 告警状态 • 发生时:告警发生/trigger时,如果被分派人想收到告警通知,可以设置发生时通知; • 确认时:在CA平台 PC端、微信端、APP端点击 认领 按钮告警后,意味有人认领/ack告警了,如果被分派人想收到确认告警信息,可以设置确认时通知; • 关闭时:告警解决/resolve后,如果被分派人想收到告警关闭信息,可以设置关闭时通知; 通知时间 可以根据用户实际工作时间,设置不同的通知策略,可设置告警在任何时间发生,均通知;可设置告警在工作时间发生,才通知;可设置告警在非工作时间,才通知。例如,在工作时间时刻在电脑前

05 . Prometheus监控Nginx

纵然是瞬间 提交于 2020-07-28 07:55:07
List CentOS7.3 prometheus-2.2.1.linux-amd64.tar.gz nginx-module-vts 节点名 IP 软件版本 硬件 网络 说明 Prometheus 192.168.0.106 list 里面都有 2C4G Nat,内网 测试环境 Nginx 192.168.0.107 list 里面都有 2C4G Nat,内网 测试环境 部署Prometheus 部署Promehteus请看我前面写的文章 https://www.cnblogs.com/you-men/p/12839535.html 部署Nginx 三个模块 nginx-module-vts:Nginx virtual host traffic status module, # Nginx的监控模块,能够提供JSON格式的数据产出。 nginx-vts-exporter:Simple server that scrapes Nginx vts stats and exports them via HTTP for Prometheus consumption。 # 主要用于收集Nginx的监控数据,并给Prometheus提供监控接口,默认端口号9913。 Prometheus: # 监控Nginx-vts-exporter提供的Nginx数据,并存储在时序数据库中

Istio 1.6.3 发布-新特性与快速安装

北城以北 提交于 2020-07-28 01:47:13
Istio 1.6.3 发布了。Istio 是一个由谷歌、IBM 与 Lyft 共同开发的开源项目,旨在提供一种统一化的微服务连接、安全保障、管理与监控方式。具体来说,Istio 是一个开源服务网格平台,它确保微服务在处理故障时以指定的方式相互连接。 更新内容 修复了监视资源被删除后,操作员无法重新创建的问题 修复了Istio因消息崩溃的问题: proto.Message is *client.QuotaSpecBinding, not *client.QuotaSpecBinding 添加了对 k8s.v1.cni.cncf.io/networks 注释的支持 更新了 SidecarInjectionSpec 以从 .Values.global 读取 imagePullSecret 更新了水平分割以跳过解析主机名的网关 修复了 istioctl experimental metrics ,仅将错误响应代码标记为 erros 更新了 istioctl analyze 以对输出格式进行排序 更新了网关以使用 proxyMetadata 更新了 Prometheus Sidecar 以使用 proxyMetadata 启用 gateway.runAsRoot 时从 PodSecurityContext 中删除了无效的配置 升级更新 从已有版本升级,运行: istioctl