InfluxDB

前言： 虽然作者已经推出了docker版本，只需一键(一条命令)即可完成搭建。 但是本着学习的心理还是要自己折腾一遍，一键虽好但不明了啊。 官方已经把安装写的很详细了，但毕竟是英文...... pgwatch2官方地址： https://github.com/cybertec-postgresql/pgwatch2 系统环境： CentOS 7.5 IP:192.168.1.2 grafana-5.1.4 PostgreSQL-10、pg_stat_statements模块 InfluxDB-1.5.3 Python3 #关闭selinux以及firewalld。 ##自行安装以上应用！！！本文不提供安装过程！！！ 一、配置PostgreSQL vi /var/lib/pgsql/10/data/postgresql.conf shared_preload_libraries = 'pg_stat_statements' track_io_timing = on #编辑postgresql.conf配置文件，添加如下两行（前提：装好pg_stat_statements模块 vi /var/lib/pgsql/10/data/pg_hba.conf local all all peer host all all 127.0.0.1/32 trust host all all ::1

前言 ：   最近在不定时的出差后，小编总结出来一个问题，自从2013年大数据火起来之后，到现在也经历了6年多，有些公司已经逐步废弃传统的关系型数据库，逐渐引入大数据平台，有些公司可能已经通过大数据平台从百亿基本数据中找到的其真正的价值，但是这个过程总是缓慢的，总要经历：数据的迁移、数仓的建设、基于数仓的上层开发、基于业务的报表分析...尤其是在数据的迁移的过程中，不同的项目根据需求不同会选择适合自己的数据库，从而导致，在将数据迁移到大数据平台上时多种多样的数据迁移方式，小编经历过的就有 MySQL、DB2、PostgreSQL、Oracle ，像这些数据库都是有直接的JDBC的驱动包，一般通过数据迁移工具sqoop或者一些ETL工具直接可以将数据抽取过来，但是也有些并非有JDBC的驱动包，有些数据迁移工具也并不支持的数据库；比如接下来小编要介绍的InfluxDB，他就是一个时序数据库，而且并没有相应比较好用的工具去抽取数据。只能先了解其原理，然后自己想办法，如何高效、简单的实现数据的迁移。   数据迁移总是一个头疼的问题，这里小编建议，先根据自己的业务和需求，在迁移数据之前，设计出适合各种场景的表，千万不要盲目的把数据迁移过来，之后再改表类型以及结构，否则后期的维护成本就相当高。好了，废话不多说了，以上是小编的一点愚见，接下来开始学习这个InfluxDB时序数据库！ 一

Horizontal Pod Autoscaling（Pod水平自动伸缩），简称HPA。HAP通过监控分析RC或者Deployment控制的所有Pod的负载变化情况来确定是否需要调整Pod的副本数量，这是HPA最基本的原理。 HPA在kubernetes集群中被设计成一个controller，HPA Controller默认30s轮询一次（可通过kube-controller-manager的标志--horizontal-pod-autoscaler-sync-period进行设置），查询指定的资源（RC或者Deployment）中Pod的资源使用率，并且与创建时设定的值和指标做对比，从而实现自动伸缩的功能。 HPA可以从两个地方获取数据： 1、Heapster：仅支持CPU使用率 2、自定义监控 安装配置heapster https://github.com/kubernetes-retired/heapster/tree/v1.4.2/deploy/kube-config/influxdb $ docker pull docker.io/zhaoqing/heapster-amd64:1.4.2 $ docker pull docker.io/pupudaye/heapster-influxdb-amd64:v1.3.3 1、安装heapster数据库influxdb ---

环境说明： 主机名 操作系统版本 ip docker version kubelet version 配置 备注 master Centos 7.6.1810 172.27.9.131 Docker 18.09.6 V1.14.2 2C2G master主机 node01 Centos 7.6.1810 172.27.9.135 Docker 18.09.6 V1.14.2 2C2G node节点 node02 Centos 7.6.1810 172.27.9.136 Docker 18.09.6 V1.14.2 2C2G node节点 k8s集群部署详见： Centos7.6部署k8s(v1.14.2)集群 k8s学习资料详见： 基本概念、kubectl命令和资料分享 一、简介 1.heapster简介 Heapster是Kubernetes原生的集群监控方案,Kubelet自身就包含了一个名为cAdvisor的agent，它会收集整个节点和节点上运行的所有单独容器的资源消耗情况。Heapster以pod的方式运行在某个节点上，它通过普通的KubernetesService暴露服务，使外部可以通过一个稳定的IP地址访问。它从集群中所有的cAdvisor收集数据，然后通过一个单独的地址暴露。 Heapster 将数据按照 Pod 进行分组，将它们存储到预先配置的 backend

今年3月份在公司的内部k8s培训会上，开发同事表示使用dashboard的可以满足日常开发需求，例如查看pod的日志，执行exec指令，查看pod的运行状态等，但对basic认证的权限控制表示担忧。 之前介绍过在1.5.2版本上部署dashboard服务，在1.9.1版本离线部署中，也介绍过dashboard服务的RBAC配置和使用技巧。因此本文将在前文基础上完善Heapster的整合与利用token对用户权限进行控制。 dashboard的特点主要如下： 1、能够直观的看到rc、deployment、pod、services等k8s组件的运行情况和日志信息。 2、结合heapster和influxdb后，dashboard的监控图表上可以看到pod的cpu和内存消耗情况。 Heapster介绍 1、Heapster是容器集群监控和性能分析工具，支持Kubernetes和CoreOS。 2、K8S集群的HPA功能的实现就依赖于这些metric数据，HPA将Heapster作为Resource Metrics API，向其获取metric。 3、Kubernetes有个cAdvisor监控（在1.9版本里面，cAdvisor已经和kubelet整合在一起）。 在每个kubernetes Node上都会运行cAdvisor，它会收集本机以及容器的监控数据(cpu,memory