InfluxDB

PostGis 1.需要安装postgreSQL，postgis作为插件嵌入到postgreSQL中; 2.使用zip包直接安装，需要修改 makepostgisdb_using_extensions .bat 文件中的路径，用户名，密码，然后直接运行; 3.没有 POSTGIS SHAPEFILE AND DBF LOADER 选项时，PGAdmin的文件-选项-浏览器-二进制中设置postgreSQL bin路径;同时修改plugins.ini文件; http://www.fx114.net/qa-155-117491.aspx 4.创建 template_postgis 模板;导入postgis的函数;7个扩展; influxDB 安装： 1.2版本与之前不同,部分功能需要修改conf文件开启; http://www.cnblogs.com/liugh/p/6674956.html windows系统下的启动：使用conf文件启动 influxd -config influxdb.conf 配置文件说明： http://www.cnblogs.com/MikeZhang/p/InfluxDBInstall20170206.html 来源： oschina 链接： https://my.oschina.net/u/2626223/blog/1859895

一、编写docker-cmpose文件 docker-compose.yml文件如下： 1 version: "3.3" 2 services: 3 grafana: 4 image: grafana/grafana:latest 5 environment: 6 GF_SECURITY_ADMIN_PASSWORD: aibili_grafana 7 ports: 8 - 3000:3000 9 user: "472" 10 volumes: 11 - ./grafana_data:/var/lib/grafana 12 - ./log/grafana:/var/log/grafana 13 influxdb: 14 image: influxdb:latest 15 environment: 16 INFLUXDB_GRAPHITE_ENABLE: "true" 17 ports: 18 - 8086:8086 19 - 8083:8083 20 - 2003:2003 21 volumes: 22 - ./influxdb_data:/var/lib/influxdb 23 influxproxy: 24 image: juris/influxdb-timeshift-proxy 25 environment: 26 INFLUXDB : "influxdb:8086" 27

前言 在上一篇推文中，我们使用时序数据库 InfluxDb 做了流控数据存储，但是数据存储不是目的，分析监控预警才是最终目标，那么问题来了，如何更好的实现呢？用过阿里巴巴 Sentinel 控制台的小伙伴，是不是觉得它的控制台丑爆了，而且只有短短的五厘米，显然不能满足大部分人或者场景的使用。 架构 工具 sentinel-dashboard（控制台，收集数据） Influxdb（时序数据库，存储数据） Chronograf （展示控制台，显示数据并实现预警） 安装 Sentinel 控制台 和 时序数据库 Influxdb 的安装方式前面已经聊过，这里不再赘述，简单说下 Chronograf 展示控制台的安装方式，这里推荐使用 Docker 安装方式。 $ docker run -p 8888:8888 \ -v $PWD:/var/lib/chronograf \ chronograf 安装成功以后，浏览器访问 http://ip:8888 你应该看到一个欢迎页面： 然后，自行配置数据源，根据业务场景组装监控大屏。 大屏 这里根据 Sentinel 限流组件采集的数据，组装了一个简单的监控大屏，可以监控历史访问总量、最近一小时的访问量、限流数以及最近几分钟或者几小时的访问曲线等等，相比于阿里演示版是不是瞬间高大上的些许。 总访问量 SELECT SUM("successQps")

前言 阿里巴巴提供的控制台只是用于演示 Sentinel 的基本能力和工作流程，并没有依赖生产环境中所必需的组件，比如持久化的后端数据库、可靠的配置中心等。目前 Sentinel 采用内存态的方式存储监控和规则数据，监控最长存储时间为 5 分钟，控制台重启后数据丢失。 企业版 这里推荐一下阿里云的官方版，AHAS Sentinel 控制台 是 Sentinel 控制台的阿里云上版本，提供企业级的控制台服务，包括： 实时请求链路查看 还有各种酷炫的监控图表 可靠的实时监控和历史监控数据查询，无需自行存储、拉取 动态规则管理/推送，无需自行配置外部数据源 免费版，可以提供 5 个节点的免费额度。开通专业版即可享受不限量节点额度。 专业版没有实例连接限制，开通后每天前5个限流降级节点不计费，超出部分按3元/天/实例收取相应的费用。 思路 官方文档也提供了思路，若需要监控数据持久化的功能，可以自行扩展实现 MetricsRepository 接口（0.2.0 版本），然后注册成 Spring Bean 并在相应位置通过 @Qualifier 注解指定对应的 bean name 即可。MetricsRepository 接口定义了以下功能： save 与 saveAll：存储对应的监控数据 queryByAppAndResourceBetween：查询某段时间内的某个应用的某个资源的监控数据

influxdb 配置 1 sudo yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.2.4-1.x86_64.rpm 安装 2 sudo service grafana-server start 启动 grafana 配置 1 wget https://dl.influxdata.com/influxdb/releases/influxdb-1.6.3.x86_64.rpm 2 sudo yum localinstall influxdb-1.6.3.x86_64.rpm 3 vi /etc/influxdb/influxdb.conf 修改配置为 1 [http] 2 # Determines whether HTTP endpoint is enabled. 3 enabled = true 4 5 # The bind address used by the HTTP service. 6 bind-address = ":8086" 将这两行#号去掉（跟上面这段一样就好） 抄袭自： https://www.jianshu.com/p/549bb737d9ac （盖哥简书） 3000端口 默认登录名和密码admin/admin 第一次登陆时 修改密码

kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好用的当属burrow. Burrow是linkedin开源的一个监控Apache Kafka的工具，burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。 通知器可以通过配置电子邮件或HTTP通告进行告警，而无需指定阈值，他完全是基于消费过程的动态评估。同时可以监控offset提交到broker,zk两种方式,还可以作storm的消费监控，报警支持http, email想要扩展个自己的短信报警什么的也是超简单。 第一步安装采集器burrow 下载tar包 https://github.com/linkedin/Burrow/releases 解压后修改config/burrow.toml配置文件 主要是修改日志文件地址和增加kafka集群配置，同时可以增加zookeeper的模式。 进入到解压目录执行 nohup burrow -config-dir=config/ & 就直接启动了

InfluxDB基本概念 1、数据格式 在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作 一个虚拟的 key 和其对应的 value(field value) 。格式如下： 1 cpu_usage,host = server01,region = us - west value = 0.64 1434055562000000000 虚拟的 key 包括以下几个部分： database, retention policy, measurement, tag sets, field name, timestamp。 database: 数据库名，在 InfluxDB 中可以创建多个数据库，不同数据库中的数据文件是隔离存放的，存放在磁盘上的不同目录。 retention policy: 存储策略，用于设置数据保留的时间，每个数据库刚开始会自动创建一个默认的存储策略 autogen，数据保留时间为永久，之后用户可以自己设置，例如保留最近2小时的数据。插入和查询数据时如果不指定存储策略，则使用默认存储策略，且默认存储策略可以修改。InfluxDB 会定期清除过期的数据。 measurement: 测量指标名，例如 cpu_usage 表示 cpu 的使用率。 tag sets: tags 在 InfluxDB 中会按照字典序排序，不管是 tagk 还是 tagv