grafana

作者：叶奔, 殷成文 不久前我们开源了基于 Kubernetes 的混沌测试工具 Chaos Mesh® ，Chaos Mesh 提供了模拟系统异常状况的能力，但这只是混沌工程中的一环，完整混沌工程核心原则包含了系统稳定状态的定义、提出假设、运行实验以及验证和改进。 本篇文章主要介绍我们是如何在 Chaos Mesh 和 Argo 的基础上打造自己的自动化测试平台 TiPocket ，实现完全自动化的混沌测试，构成混沌测试完整闭环。 为什么需要 TiPocket? 为了确保用户的数据安全，我们需要确保给用户提供的每一个 TiDB 版本都已经经过了严格的测试，所以我们为 TiDB 设计了各种异常场景，并实现了数十个测试 Case，所以在我们的 Kubernetes 集群中，可能同时运行着十几个甚至几十个混沌实验，即使我们拥有了 Chaos Mesh 来帮助我们管理错误注入，但这还远不够，我们还需要去管理 TiDB 集群，需要去收集指标，需要去分析结果，同时进行如此多的混沌实验，另一方面，我们还需要对 TiDB 生态中的其他工具进行混沌测试，这是无法想象的，因此，我们开发了 TiPocket 来解放自己。 TiPocket 是一个基于 Kubernetes 和 Chaos Mesh 的完全自动化测试框架，目前我们主要使用它用来测试 TiDB 集群，不过由于它 All-in-K8s

作者介绍 陈金窗， 资深运维技术专家，从事IT基础设施建设、运维与技术管理20多年。 刘政委， 资深运维技术与管理人员，大型在线游戏和手游自动化运维老兵。 长期从事云计算相关产品、研发、运维工作，具备丰富理论及实践经验。 中国电信云公司软件工程师，主要负责私有容器云平台的研发工作。 在过去的几年中，云计算已经成为及分布式计算最火热的技术之一，其中Docker、Kubernetes、Prometheus等开源软件的发展极大地推动了云计算的发展。本文首先从Prometheus是如何监控Kubernetes入手，介绍Prometheus Operator组件。接着详细介绍基于Kubernetes的两种Prometheus部署方式，最后介绍服务配置、监控对象以及数据展示和告警。通过本文，大家可以在Kubernetes集群的基础上学习和搭建完善的Prometheus监控系统。 一、Prometheus与Kubernetes完美结合 Kubernetes使用Docker进行容器管理，如果说Docker和kubernetes的搭配是云原生时代的基石，那么Prometheus为云原生插上了飞翔的翅膀。随着云原生社区的不断壮大，应用场景越来越复杂，需要一套针对云原生环境的完善并且开放的监控平台。在这样的环境下，Prometheus应运而生，天然支持Kubernetes。 1、Kubernetes

最近几年好像大家都开始对微服务着迷，与此同时单体架构也在慢慢淡出人们的视线。 当然，热门的趋势总是来来去去，而且它们所受到的关注往往被媒体夸大了，实际情况并不总是如此。不过，对于微服务来说，人们似乎已经达成共识，认为这个趋势会一直存在下去。这是有道理的。从概念的角度来说，微服务扩展了工程师们几十年来采用的相同原则。 一旦你开始使用微服务架构，也许你需要本文中提到的5个规则，帮助你成功运行它们。 微服务的另一面 关注点分离(SoC)是一项设计原则，规定软件的构建应根据 "关注点 "或总体功能来确定不同的部分，30多年来一直被用来决定如何构建技术。在单体应用中，它体现在典型的3层架构中的表现层、业务层和数据层的分离。 微服务采用了这个概念，并将其颠覆。它们将同一个应用程序以这样的方式分离出来，应用程序的单一代码库可以被分解并单独部署。这样做的好处是巨大的，但也是有代价的，通常体现在时间和金钱两方面的运维成本较高。除了将现有的应用程序过渡到容器所带来的巨大的前期投资之外，维护该应用程序也带来了新的挑战。 挑战1：似乎很难监控整体 虽然单体应用程序也有其自身的挑战，但在单体中回滚一个“坏”版本的过程是相当简单的。在容器化应用中，事情就变得复杂许多。无论你是将单体应用逐步分解为微服务，还是从头开始构建一个新系统，你现在都有更多的服务需要监控。其中每一个都可能会： 使用不同的技术和/或语言。

Grafana-Zabbix https://alexanderzobnin.github.io/grafana-zabbix/guides/gettingstarted/ Grafana-Elasticsearch https://grafana.com/docs/grafana/v6.7/features/datasources/elasticsearch/ 在grafana的插件页面可以找到上述连接 来源： oschina 链接： https://my.oschina.net/u/4308645/blog/4284723

一.Loki介绍 整体架构 Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。 Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail, 在k8s中promtail以daemonset方式运行在每个节点中，通过kubernetes api等到日志的正确元数据，并将它们发送到Loki。 下面是日志的存储架构： 二.使用二进制包简单搭建 使用docker-composer可能比较方便，我们这里采用二进制包安装 1.安装loki主程序包 loki-linux-amd64.zip 查看配置文件 [root@centos7 Loki]# cat loki-config.yaml auth_enabled: false server: http_listen_port: 3100 ingester: lifecycler: address: 127.0.0.1 ring: kvstore: store: inmemory replication_factor: 1 final_sleep: 0s chunk_idle_period: 5m chunk_retain_period: 30s max

提到Sysdig大家会想到市面比较主流的监控软件Grafana(跨平台的可视化日志分析和监控工具)、Kibana（ELK堆栈的一部分，用于数据分析和日志监视）、Prometheus(容器部署整个技术栈，开源的自主托管监控方案)，基于不同的监控对象和应用规模，它们都有各自不同的特点和优势。 今天我们要介绍的是IBM Cloud的云监控解决方案Sysdig，云上的IaaS资源除了传统的虚拟机实例，同样也包括容器集群，云函数，云数据库等PaaS服务。 根据业务和服务具体需求，算力资源可能在全球多个区域部署，那么对监控平台的数据采集，日志汇总、分析和可视化仪表都会有很高的要求。 IBM Cloud选择Sysdig应该是想借助一套完全托管的企业级监视服务（客户无需维护服务系统，上手简洁方便），统一地管控云上多样化资源，并提供面向服务的视图、全面的指标和强大的预警功能，让云监控变得更加高效。 Sysdig常见的监控对象包括云主机和容器， 在IBM Cloud上云主机实例包括（经典架构）裸机和虚拟机，VPC虚拟机。 今天小实验的对象是经典架构下虚拟机的自动化agent部署和监控。 1.创建sysdig托管服务实例 选择Free tier - Lite 配置，服务创建在哪里？最好的选择是离监控资源就近的区域，如果有需要也可尝试启用“IBM Platform Metrics”

物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQ X MQTT 服务器 与 TDengine 大数据平台的组合技术栈完全能够胜任场景中的海量时间序列监测数据的传输、存储和计算。 数据入库后，往往需要其他方式如数据可视化系统将数据按照规则统计、展现出来，实现数据的监控、指标统计等业务需求，以便充分发挥数据的价值，TDengine 搭配开源软件 Grafana 可以快速搭建物联网数据可视化平台。 上述整套方案无需代码开发，涉及的产品均能提供开源软件、企业服务、云端 SaaS 服务不同层次的交付模式，能够根据项目需求实现免费版或企业版私有化落地以及云端部署。 方案介绍 EMQ X 简介 EMQ X 是基于高并发的 Erlang/OTP 语言平台开发，支持百万级连接和分布式集群架构，发布订阅模式的开源 MQTT 消息服务器。EMQ X 内置了大量开箱即用的功能，其 开源版 EMQ X Broker 及 企业版 EMQ X Enterprise 均支持通过规则引擎将设备消息存储到 TDengine。 TDengine 是什么 TDengine 是涛思数据专为物联网、车联网、工业互联网、IT 运维等设计和优化的大数据平台。除核心的快 10 倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的复杂度，且核心代码，包括集群功能全部开源。

grafana 7.0 最近发布了，添加了对于分布式追踪（opentracing）的展示支持，同时界面ui也有调整 以下是一个简单的试用 环境准备 docker-compose 文件 version: "3" services: grafana: image: grafana / grafana: 7.0.0 ports: - "3000:3000" jaeger: image: jaegertracing / all - in - one: 1.18 environment: - "COLLECTOR_ZIPKIN_HTTP_PORT=9411" ports: - "9411:9411" - "5775:5775/udp" - "6831:6831/udp" - "6832:6832/udp" - "16686:16686" 配置 demo 项目 clone 代码 git clone https: //github.com/luoyjx/opentracing-demos.git 运行 参考node 项目运行就可以了，注意部分端口需要修改不然会有冲突的问题 查询效果 说明 grafana 的功能是越来越强大了，我们可以基于分布式追踪以及prometheus metrics 实现一个比较统一的dahsboard监控系统 参考资料 https://grafana.com/blog