InfluxDB

influxdb 时序数据库，因为实际业务中使用到了，然而并没有发现有特别好的文章，完整的介绍influx sql的使用姿势，因此记录下实际开发中学习的体会，主要参考来自于官方文档 Influx Query Language (InfluxQL) influx已经推出2.0beta版本，并没有使用，后面的所有都是以1.7版本进行说明 I. 安装 安装教程，直接参考官网链接， installing-influxdb-oss ，下面只介绍centos/macos两个操作系统的安装姿势 1. centos 通过yum包管理方式实现安装最新的稳定版, 在终端中输入 cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB Repository - RHEL \$releasever baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable enabled = 1 gpgcheck = 1 gpgkey = https://repos.influxdata.com/influxdb.key EOF 然后就可以按照常见的yum方式进行安装 sudo yum install influxdb # 启动

在influxdb中measurement相当于mysql中的表，可以理解为一条一条记录都是存与measurent中的，一个数据库中可以有多个measurement，一个measurement中可以存很多的数据。虽然可将measurement类比为mysql中的表，但是他们之间的差别也挺明显的 首先我们先了解一下measurement的几个常用命令，如何查看、新增删除 1. show measurements 查看一个数据库中有哪些measurement，属于常规操作了 先确定数据库 执行 show measurements 查看当前数据库的所有measurement > use test Using database test > show measurements name: measurements name ---- yhh 我们也可以在不执行 use databaseName 的时候，进行查看；而且还支持按名进行匹配，语法为 SHOW MEASUREMENTS [ON <database_name>] [WITH MEASUREMENT <regular_expression>] [WHERE <tag_key> <operator> ['<tag_value>' | <regular_expression>]] [LIMIT_clause] [OFFSET_clause

第一部分： collectd——agent influxdb——db，持久化 granfana——动态配置和展示 第二部分： 系统架构：(监控哪台机器，哪台机器装collectd) 　　方式一：三位一体 　　　　将collectd+influxdb+granfana装在一个业务所在机器上来监控 　　　　缺点：influxdb和granfana占系统资源 　　　　优点：简单粗暴 　　方式二：二一架构(A和M放在同一个局域网中) 　　　　业务机器A(collectd+influxdb) 　　　　监控机器M(granfana) 　　　　扩展： 　　　　业务机器B(collectd+influxdb) 　　　　M上可以看A和B的数据 　　方式三：经典架构 　　　　业务机器A（collectd） 　　　　业务机器B（collectd） 　　　　监控机器M (influxdb+granfana) 　　　　优点：对A和B的性能影响少，不同的机器可以建不同的board; 　　　　如果有新机器加入，直接加collectd就可以了； 第三部分： 　1、collectd——开源 　2、influxdb——若是没有，通过perl脚本把collectd的数据导成脚本； 3、influxdb——自带脚本，自带http接口； * 用sql配granfana的图标 第四部分： 　1、自建性能体系； 　2

前言 本文介绍使用influxdb 作为prometheus持久化存储和使用mysql 作为grafana 持久化存储的安装方法 一 安装go环境 如果自己有go环境可以自主编译remote_storage_adapter插件，安装go环境目的就是为了获得此插件，如果没有go环境可以使用我分享的连接下载。 链接: https://pan.baidu.com/s/1DJpoYDOIfCeAFC6UGY22Xg 提取码: uj42 1 下载 wget https://storage.googleapis.com/golang/go1.8.3.linux-amd64.tar.gz 2 安装 tar -C /usr/local -xzf go1.8.3.linux-amd64.tar.gz 添加环境变量 vim /etc/profile export GOROOT=/usr/local/go export GOBIN=$GOROOT/bin export GOPKG=$GOROOT/pkg/tool/linux_amd64 export GOARCH=amd64 export GOOS=linux export GOPATH=/go export PATH=$PATH:$GOBIN:$GOPKG:$GOPATH/bin vim /etc/profile go get -d -v 二 安装

[root@manager ~]# git clone https://github.com/kubernetes/heapster.git [root@manager ~]# cd heapster/deploy/kube-config/influxdb/ [root@manager influxdb]# ll total 12 -rw-r--r-- 1 root root 2276 Jan 31 16:21 grafana.yaml -rw-r--r-- 1 root root 1100 Jan 31 16:21 heapster.yaml -rw-r--r-- 1 root root 960 Jan 31 16:21 influxdb.yaml [root@manager influxdb]# cat influxdb.yaml apiVersion: extensions/v1beta1 kind: Deployment metadata: name: monitoring-influxdb namespace: kube-system spec: replicas: 1 template: metadata: labels: task: monitoring k8s-app: influxdb spec: containers: - name: influxdb

随着服务的复杂度上升，对服务的监控和管理的需求显著增加，开发人员可以使用Jconsole、jvisualvm、jinfo、jstat等工具分析服务的运行状况，但是对于运维人员以及其他非开发人员就不具有可行性；故需要搭建一套图形化的监控平台。 简介 Actuator actuator是spring boot提供的对应用系统的自省和监控的集成功能，可以对应用系统进行配置查看、相关功能统计等。 Actuator使用方法 Jolokia Spring Boot Actuator对外暴露应用的监控信息，Jolokia提供使用HTTP接口获取JSON格式 的数据。 Jolokia使用方法 Telegraf 收集系统和服务的统计数据，并支持写入到 InfluxDB 数据库。 官方地址 Influxdb InfluxDB 是一个开源分布式时序、事件和指标数据库。它具备如下主要特性； 官方地址 Time Series （时间序列）：你以使用与时间有关的相关函数（如最大，最小，求和等） Metrics（度量）：你可以实时对大量数据进行计算 Eevents（事件）：它支持任意的事件数据 Grafana Grafana 是一个开箱即用的可视化工具，具有功能齐全的度量仪表盘和图形编辑器，有灵活丰富的图形化选项，可以混合多种风格，支持多个数据源特点。 官方地址 安装 Telegraf 使用Centos

在centos6.5上influxdb + Grafana监控平台配置： 1、RedHat and CentOS users can install the latest stable version of InfluxDB using the yum package #cat <<EOF | sudo tee /etc/yum.repos.d/influxdb.repo [influxdb] name = InfluxDB Repository - RHEL \$releasever baseurl = https://repos.influxdata.com/rhel/\$releasever/\$basearch/stable enabled = 1 gpgcheck = 1 gpgkey = https://repos.influxdata.com/influxdb.key EOF 2、安装influxdb #yum install influxdb 3、修改InfluxDB的配置，主要配置jmeter存储的数据库与端口号，还有需要将UI端口开放： [root@localhost ~]# vi /etc/influxdb/influxdb.conf # 找到graphite并且修改它的库与端口 [[graphite]] enabled = true database =

influxdb的安装和语法这边不加以说明，本文主要讲解influxdb在java大数据量存储的应用。 该项目的场景是存储设备的历史数据。（针对时序数据库influxdb是个比较好的选择） 一。流程图 项目启动流程： 存储流程如下： 二，数据库及表设计 数据库： rt_necp_history 短期数据库 key_necp_history 长期数据库 表： AI_RESULT 存储数字类型的表（double，int），方面以后统计计算 MIX_RESULT 混合表（存储字符串类型） 字段：tid 数据的唯一标识（对应平台的设备的测点） value 值 ，time 创建时间 总共三个字段即将设备的每个测点当做一条数据存储，该种方案可能会造成influxdb的series数量庞大。 实际压测过：内存8g，能存储的数据量在5000万条左右，还是可以满足一定的需求。 若对数据量要求较大时建议用一个设备作为一条数据，表的字段将会比较多。 实际压测过：内存8g，表字段在500个左右，能存储数据量在1000万左右。 存储策略： LONG_YEAR 长期数据 String commandLong = String.format("CREATE RETENTION POLICY \"%s\" ON \"%s\" DURATION %s REPLICATION %s DEFAULT",

1、数据格式 在 InfluxDB 中，我们可以粗略的将要存入的一条数据看作 一个虚拟的 key 和其对应的 value(field value) 。格式如下： 1 cpu_usage,host = server01,region = us - west value = 0.64 1434055562000000000 虚拟的 key 包括以下几个部分： database, retention policy, measurement, tag sets, field name, timestamp。 database: 数据库名，在 InfluxDB 中可以创建多个数据库，不同数据库中的数据文件是隔离存放的，存放在磁盘上的不同目录。 retention policy: 存储策略，用于设置数据保留的时间，每个数据库刚开始会自动创建一个默认的存储策略 autogen，数据保留时间为永久，之后用户可以自己设置，例如保留最近2小时的数据。插入和查询数据时如果不指定存储策略，则使用默认存储策略，且默认存储策略可以修改。InfluxDB 会定期清除过期的数据。 measurement: 测量指标名，例如 cpu_usage 表示 cpu 的使用率。 tag sets: tags 在 InfluxDB 中会按照字典序排序，不管是 tagk 还是 tagv，只要不一致就分别属于两个 key，例如