InfluxDB

kafka监控工具比较多，有kafka monitor,kafka manager, kafka eagle,KafkaOffsetMonitor 等，但是监控consumer lag最好用的当属burrow. Burrow是linkedin开源的一个监控Apache Kafka的工具，burrow可以将消费者滞后检查作为一项服务来对外提供。 它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。 通知器可以通过配置电子邮件或HTTP通告进行告警，而无需指定阈值，他完全是基于消费过程的动态评估。同时可以监控offset提交到broker,zk两种方式,还可以作storm的消费监控，报警支持http, email想要扩展个自己的短信报警什么的也是超简单。 下载tar包 https://github.com/linkedin/Burrow/releases 解压后修改config/burrow.toml配置文件 主要是修改日志文件地址和增加kafka集群配置，同时可以增加zookeeper的模式。 验证是否成功可以访问ip/v3/kafka 可以获取到监控的kafka集群信息如下 {"error":false,"message":

//以下内容直接复制到 docker-compose.yml 文件中。执行命令docker-compose up -d 之后访问 http://ip:3000 剩下的之后的测试连接数据库和监控自己百度 version: '3' services: influxdb: image: tutum/influxdb:0.9 container_name: influxdb restart: always environment: PRE_CREATE_DB=cadvisor ports: "8083:8083" "8086:8086" expose: "8090" "8099" volumes: influxdbData:/data cadvisor: image: google/cadvisor container_name: cadvisor links: influxdb:influxsrv command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086 restart: always ports: "8080:8080" volumes: /:/rootfs:ro /var/run:/var/run:rw /sys:/sys:ro /var/lib

数据库操作 显示已存在的所有数据库 格式： show databases 示例如下： > show databases; name: databases name ---- _internal 创建新数据库 格式： create database <dbname> 说明： dbname : 数据库名称 示例如下： > create database testdb; > show databases; name: databases name ---- _internal testdb > 删除数据库 格式： drop database <dbname> 说明： dbname : 数据库名称 示例如下： > drop database testdb; > show databases; name: databases name ---- _internal > 表操作 显示指定数据库中已存在的表 格式： show measurements 示例如下： > use testdb; Using database testdb > show measurements; 创建新表并添加数据 InfluxDB没有提供单独的建表语句，可以通过以下方式创建数据库并添加数据。 格式： insert <tbname>,<tags> <values> [timestamp] 说明： tbname :

初探时序数据库-InfluxDB 最近公司有个需求需要借助InfluxDB实现（或者更准确的说，使用该数据库可以更容易的实现），因此稍微看了下这个数据库，把比较重要的一些东西先简单记录一下，日后如果采坑，也会继续在下面补充。 一、什么是时序数据库，它可以用来做什么？ 针对这种情况，再往Mysql里记录就不太适合了，这时可以使用时序数据库进行分布式存储，时序数据库对范围分组查询、最大值、最小值、均值、最大最小求和等计算的支持是非常友好的。 时序数据库还支持过期策略，超过指定期限的数据将被回收，因此用时序数据库做监控也是不错的选择。 二、InfluxDB基本概念 1.不需要专门建表，一般insert执行过去时，如果发现表不存在，就自动创建。 2.基本概念与mysql中概念的对应关系 database 数据库 类似mysql里的库 measurement 表 类似mysql里的表 point 一行数据记录 类似mysql里的一行数据 3.point的概念就类似于mysql里一行数据，point的构成部分有三个： time 时间戳 influxdb自带字段，单位：纳秒 tags 有各种索引的属性 可设置多个，逗号隔开 fields 没有索引的属性 可设置多个，逗号隔开 tags和fileds的区别： 1. field无索引，一般表示会随着时间戳而发生改变的属性，比如温度、经纬度等

[InfluxDB] 安装与配置 1- 下载 ubtuntu: wget https://dl.influxdata.com/influxdb/releases/influxdb_1.5.2_amd64.deb sudo dpkg -i influxdb_1.5.2_amd64.deb centos wget https://dl.influxdata.com/influxdb/releases/influxdb-1.5.2.x86_64.rpm sudo yum localinstall influxdb-1.5.2.x86_64.rpm 2 - 配置 安装后， 在 /usr/bin 下面有如下文件： influxd influxdb服务器 influx influxdb命令行客户端 influx_inspect 查看工具 influx_stress 压力测试工具 influx_tsm 数据库转换工具（将数据库从b1或bz1格式转换为tsm1格式） 在 /var/lib/influxdb/ 下面会有如下文件夹： data 存放最终存储的数据，文件以.tsm结尾 meta 存放数据库元数据 wal 存放预写日志文件 配置文件路径 ： /etc/influxdb/influxdb.conf 3 - 启动 以服务方式启动 sudo service influxdb start # or

Is there a way (plugin or tool) to export the data from the database (or database itself) ? I'm looking for this feature as I need to migrate a DB from present host to another one. ezotrank You could dump each table and load them through REST interface: curl "http://hosta:8086/db/dbname/series?u=root&p=root&q=select%20*%20from%20series_name%3B" > series_name.json curl -XPOST -d @series_name.json "http://hostb:8086/db/dbname/series?u=root&p=root" Or, maybe you want to add new host to cluster? It's easy and you'll get master-master replica for free. Cluster Setup Export data: sudo service

在我们很多应用中会遇到有一种基于一系列时间的数据需要处理，通过时间的顺序可以将这些数据点连成线，再通过数据统计后可以做成多纬度的报表，也可通过机器学习来实现数据的预测告警。而时序数据库就是用于存放管理这种有着时间顺序数据的，时序数据库一般都支持时序数据的快速写入、持久化、多纬度的聚合查询等基本功能。 InfluxDB简介 InfluxDB是一个基于时间序列数据而开发的高性能数据存储平台，它可以对时序数据进行高吞吐量的摄取、压缩和实时查询。InfluxDB是用Go语言编写的，它会编译成一个没有外部依赖的二进制文件来运行，支持Java、JavaScript、c#等语言。InfluxDB支持类似SQL的查询语言，同时还支持正则表达式、算术表达式和时间序列特定函数以加速数据的处理效率。如下是跟InfluxDB相关的网址： InfluxDB官网： https://www.influxdata.com/ InfluxDB官方文档： https://docs.influxdata.com/influxdb/ InfluxDB官方下载： https://portal.influxdata.com/downloads InfluxDB客户端工具下载： https://docs.influxdata.com/influxdb/v1.6/tools/api_client_libraries/

1、PowerShell + Influxdb 需要注意PowerShell需要升级到5.0才能支持influxdb 1 function waitsec{ 2 $step=10 #设置间隔 3 $add=0 #设置延时 4 $t=(get-date) 5 $step-(($t.Hour*3600+$t.Minute*60+$t.Second)%$step)+$add 6 } 7 function GetData($cluster,$dept,$group,$project,$type) 8 { 9 $commandSet=@( 10 "\Web Service(*)\Current Anonymous Users", 11 "\Web Service(*)\Current Connections", 12 "\Web Service(*)\Current NonAnonymous Users", 13 "\Web Service(*)\Current Blocked Async I/O Requests", 14 "\Web Service(*)\Maximum Anonymous Users", 15 "\Web Service(*)\Measured Async I/O Bandwidth Usage", 16 "\Web Service(*)\Total Blocked

在上一篇推文中，我们使用时序数据库 InfluxDb 做了流控数据存储，但是数据存储不是目的，分析监控预警才是最终目标，那么问题来了，如何更好的实现呢？用过阿里巴巴 Sentinel 控制台的小伙伴，是不是觉得它的控制台丑爆了，而且只有短短的五厘米，显然不能满足大部分人或者场景的使用。 sentinel-dashboard（控制台，收集数据） Influxdb（时序数据库，存储数据） Chronograf （展示控制台，显示数据并实现预警） Sentinel 控制台 和 时序数据库 Influxdb 的安装方式前面已经聊过，这里不再赘述，简单说下 Chronograf 展示控制台的安装方式，这里推荐使用 Docker 安装方式。 $ docker run -p 8888:8888 \ -v $PWD:/var/lib/chronograf \ chronograf 安装成功以后，浏览器访问 http://ip:8888 你应该看到一个欢迎页面： 然后，自行配置数据源，根据业务场景组装监控大屏。 这里根据 Sentinel 限流组件采集的数据，组装了一个简单的监控大屏，可以监控历史访问总量、最近一小时的访问量、限流数以及最近几分钟或者几小时的访问曲线等等，相比于阿里演示版是不是瞬间高大上的些许。 SELECT SUM("successQps") AS "总访问量" FROM

关键词： 监控 、dashboard、PHP、graphite、statsd、whisper、carbon、grafana、influxdb、Python 本文档适用人员：研发和运维员工 提纲： 监控平台要做到什么程度？为什么要自己做？ 几个通用技术问题 绘图所依赖的数据如何收集？如何加工？如何存储？ 图形如何绘制，各种指标如何叠加？ 拓扑关系如何绘制？ 技术选型哲学 最终选了statsd+graphite 数据的采集 数据存储的粒度 天机的技术选型 一，监控平台要做到什么程度？为什么要自己做？ 运维监控满满都是着各种开源系统以及它们的 Dashboard： Zabbix Nagios Centreon Logstash Ganglia+Cacti 以及各种业务指标趋势的 Dashboard。 我们认为，监控不能只是各种数据的采集和罗列，不仅仅是弄若干个报表并进一步配置成仪表盘， 而是有一定智能，仿照我们日常的排查问题思路，建立一定规则，自动检查，深度检查，友情提示 。 随手举一个例子： 规则：模仿我们发现问题后先检查数据库主从同步是否有问题的习惯 天机系统发现成单金额或验证券数或短信发送条数环比大幅下降后，启动检查规则， 自动逐一检查各种从库的主从同步情况。 如果发现主从延迟超过阈值，则天机 DashBoard 应浮出两条红色警告提示（可点击进入）： 5分钟销售数据环比下降50%