Prometheus

云栖号案例库： 【点击查看更多上云案例】 不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！ 公司介绍 新东方教育科技集团，由1993年11月16日成立的北京新东方学校发展壮大而来，目前集团以语言培训为核心，拥有短期培训系统、基础教育系统、文化传播系统、科技产业系统、咨询服务系统等多个发展平台，是一家集教育培训、教育产品研发、教育服务等于一体的大型综合性教育科技集团。新东方教育科技集团于2006年9月7日在美国纽约证券交易所成功上市，成为中国大陆首家海外上市的教育培训机构。 比邻东方是新东方旗下独资在线外教直播公司，根据新东方23年教学体系反馈，与国际资深教材编写团队共同打造国际小学课程体系，为5~12岁中国学生量身定做国际小学3人在线外教课程。 为了响应教育部保障防控疫情期间学生“停课不停学”的号召，2020年2月，新东方快速整合集团内外优质教师资源和课程资源，面向新东方所有中小学学员推出免费的全年级全学科同步线上课程及心理课程，面向中小学生家长推出免费的家庭教育线上课程，为社会提供更多样的公益性优质学习资源，助力学生及家长在延长的假期里共同进步和成长。 业务痛点 新东方青少外教直播品牌比邻东方，2月10日晚8点开始在线选课及促销活动，预计在活动期间会有严重的流量压力。 除流量压力外，还需要保证活动期间主流程的可用性及系统的稳定性。

>>> 目录 <<< 一、概述 二、核心组件 三、基本概念 四、系统架构 五、镜像制作 六、服务编排 七、持续部署 八、故障排查 >>> 正文 <<< 一、 概述 Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。Kubernetes特点 : ☛ 可移植: 支持公有云，私有云，混合云，多重云 ☛ 可扩展: 模块化, 插件化, 可挂载, 可组合 ☛ 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 二、 核心组件 1) 主要组件 ● etcd ： 保存了整个集群的状态； ● apiserver ： 提供了资源操作的唯一入口，并提供访问控制、API注册和发现等机制； ● scheduler ： 负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上； ● controller manager ： 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等； ● kubelet ： 负责维护容器的生命周期，同时也负责数据卷（CVI）和网络（CNI）的管理； ● kube-proxy ： 负责为Service提供集群内部的服务发现和负载均衡； ● Container runtime ： 负责镜像管理以及Pod和容器的真正运行（CRI）； 2) 扩展组件 ● kube-dns ： 负责为整个集群提供DNS服务 ●

1.pulsar概述 　　Apache Pulsar 是灵活的发布-订阅消息系统（Flexible Pub/Sub messaging），采用分层分片架构（backed by durable log/stream storage）。 　　Apache Pulsar 是一个开源的分布式 pub-sub 消息系统，最初是在雅虎创建的，现在是 Apache Software Foundation 的一部分， 是下一代云原生分布式流数据平台。 　　 Apache Pulsar 是服务和存储分离的消息系统，主要分为 Broker 和 BookKeeper 两大模块， Broker 提供服务能力， BookKeeper 提供存储能力。 　　 2.pulsar之于kafka 　　 1. 流式处理和队列的合体 　　Pulsar 就像是一个合二为一的产品，不仅可以像 Kafka 那样处理高速率的实时场景，还能支持标准的消息队列模式，比如多消费者、失效备援订阅和消息扇出，等等。Pulsar 会自动跟踪客户端的读取位置，并把这些信息保存在高性能的分布式 ledger（BookKeeper）当中。 　　与 Kafka 不一样的是，Pulsar 具备传统消息队列（如 RabbitMQ）那样的功能，因此，只需要运行一个 Pulsar 系统就可以同时处理实时流和消息队列。 2. 支持分区，但不是必需的 　

【 MySQL 】企业级监控解决方案 Promethus+Grafana Promethus用作监控数据采集与处理，而Grafana只是用作数据展示 一、 Promethus 简介 Prometheus （普罗米修斯）是一套开源的监控 & 报警 & 时间序列数据库的组合，起始是由 SoundCloud 公司开发的。随着发展，越来越多公司和组织接受采用 Prometheus ，社区也十分活跃，他们便将它独立成开源项目，并且有公司来运作。 Google SRE 的书内也曾提到跟他们 BorgMon 监控系统相似的实现是 Prometheus 。现在最常见的 Kubernetes 容器管理系统中，通常会搭配 Prometheus 进行监控。 Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统，不需要任何 SDK 或者其他的集成过程。这样做非常适合虚拟化环境比如 VM 或者 Docker 。 Prometheus 应该是为数不多的适合 Docker 、 Mesos 、 Kubernetes 环境的监控系统之一。 输出被监控组件信息的 HTTP 接口被叫做 exporter 。目前互联网公司常用的组件大部分都有 exporter 可以直接使用，比如 Varnish 、 Haproxy 、 Nginx

Centos7安装Promethus(普罗米修斯）监控系统完整版 Promethus(普罗米修斯）监控Mysql数据库 这个是基于上面环境搭建的，需要的可以访问方面连接查看。 教程使用的软件：链接: https://pan.baidu.com/s/1QV4KYZksyIp65UsScioq4Q 提取码: vcej 监控远程MySQL 服务器 IP地址 Prometneus服务器 192.168.116.129 被监控服务器（mysql） 192.168.116.130 grafana服务器 192.168.116.131 ① 在被管理机agent1上安装mysqld_exporter组件 下载地址: https://prometheus.io/download/ 上传mysqld_exporter组件 安装mysqld_exporter组件 tar xf mysqld_exporter-0.11.0.linux-amd64.tar.gz -C /usr/local/ mv /usr/local/mysqld_exporter-0.11.0.linux-amd64/ /usr/local/mysqld_exporter ls /usr/local/mysqld_exporter 安装mariadb数据库,并授权 yum install mariadb\* -y systemctl

1、监控MySQL（mysqld-exporter） https://github.com/prometheus/mysqld_exporter/releases/download/v0.11.0/mysqld_exporter-0.11.0.linux-amd64.tar.gz （1）被监控mysql机器安装mysqld-exporter 　　#tar -C /usr/local/ -xvf mysqld_exporter-0.11.0.linux-amd64.tar.gz （2）设置配置文件，user为数据库登录用户，password为这个用户的密码 　　vi .my.cnf 　　[client] 　　user=root 　　password=123456 （3）启动mysqld-exporter 　　/usr/local/mysqld_exporter-0.11.0.linux-amd64/mysqld_exporter --config.my-cnf="/usr/local/mysqld_exporter-0.11.0.linux-amd64/.my.cnf" & （4）prometheus配置文件中加入mysql监控并重启 　　vim /usr/local/Prometheus/prometheus.yml 　　默认mysqld-exporter端口为9104 　　-

redis监控，prometheus需要使用redis_exporter客户端。 这里我们采用docker方式部署，既可以部署在redis所在服务器，也可以部署在其他机器： docker镜像地址： https://hub.docker.com/r/oliver006/redis_exporter/tags 1、下载镜像 1 [root@izbp1hjhm96yi3k68wi59rz ~] # docker pull oliver006/redis_exporter 2、运行服务 1 [root@izbp1hjhm96yi3k68wi59rz ~] # docker run -d --name redis_exporter -p 9121:9121 oliver006/redis_exporter --redis.addr redis://172.16.11.51:6379 --redis.password 'Vanje!9201' 参数解释： 　　--redis.addr 指定redis地址，由于这里使用docker起的服务，所以不能使用127.0.0.1地址。 　　--redis.password redis认证密码，如果没有密码，该参数不需要 3、配置 Prometheus 添加redis监控目标主机 1 2 3 4 5 6 7 8 # ## 新增 - job_name:

安装mysql exporter Prometheus MySQL Exporter是一个客户端应用程序，用于获取MySQL指标并导出到Prometheus Server。 在这里，我们将介绍如何在数据库服务器上配置Prometheus MySQL Exporter程序，包括MySQL MariaDB和使用Grafana可视化数据。这将使您能够很好地查看数据库性能，并在遇到问题时知道在何处检查。警报规则的配置超出了本指南的范围，但我将尝试在下一个指南中介绍它。 本指南将有三个主要步骤 Prometheus server的安装和配置 在数据库服务器上安装和配置MySQL Prometheus exporter 创建/导入MySQL Grafana仪表板 - 我们将使用Percona现成的仪表盘。 官方下载地址： https://prometheus.io/download/ github地址： https://github.com/prometheus/mysqld_exporter 下载安装MySQL Exporter 添加Prometheus系统用户和组： sudo groupadd --system prometheus sudo useradd -s / sbin / nologin --system -g prometheus prometheus 该

源中瑞介绍7个开源网络安全监控工具 网络健康状况是衡量基础架构运行状况的一种方法，我们需要不断监控网络状态，以提供数据中心和设备健康状况的信息。通常对监视工具考虑较多的可能就是成本问题。 互联网发展到现在有很多免费的企业级基础架构监视软件产品。通过使用正确的工具，你可以监视技术基础架构的各个方面。还有开源网络监视软件工具可供你选择。但是，在整合开放源代码软件到工具集中之前，你应该考虑两个注意事项：支持可用性和已部署的功能。 ，开源软件应用程序通常拥有大量的用户和开发人员社区，从而带来更好的支持和功能增强。同时，它们拥有公共功能路线图，社区中任何人都可以开发和发布新功能。与传统的监视工具相比，你可以更快地访问更新的功能，你甚至可以根据你的需求或开发工作来推动功能开发。在选择开源工具前，请务必调查可用的支持。 开源网络监控选项 1.Wireshark Wireshark是1998年首次推出的开源工具，它是最古老且开发最完善的开源监视工具之一。它可以在多种操作系统上运行，包括Windows、Linux、macOS、Solaris、FreeBSD和NetBSD。该工具还提供实时捕获和离线分析，以及对顶级加密协议的解密支持，非常适合安全需求。 2.FreeNMS LibreNMS使用多种网络协议来监视任何规模的网络上的设备。其内置的API可检索、管理和绘制收集的数据

安装 yum -y install docker systemctl start docker docker pull percona/pmm-server:1 docker create -v /opt/prometheus/data -v /opt/consul-data -v /var/lib/mysql -v /var/lib/grafana --name pmm-data percona/pmm-server:1 /bin/true docker run -d -p 80:80 --volumes-from pmm-data --name pmm-server --restart always percona/pmm-server:1 修改配置，主要修改pmm 数据默认保留时长： 进入docker： vi /etc/supervisord.d/pmm.ini --storage.local.retention=120h --storage.tsdb.retention=120h 需要重启docker mysql pmm库占用空间问题，系统空间使用100% agent_log、query_class_metrics、query_global_metrics表，直接truncate 过了一段时间，还是没有数据 尝试重启一个客户端,在进行观察，就有数据了： pmm-admin