kibana

一段时间没关注ELK（elasticsearch —— 搜索引擎，可用于存储、索引日志, logstash —— 可用于日志传输、转换，kibana —— WebUI，将日志可视化），发现最新版已到7.4了。所以别问程序员为什么这么忙？因为不是在加班就是在学习新框架中。 本文整理了使用Docker来快速搭建一套ELK日志分析系统的方法。 1. 部署elk github上有人整理了一套使用docker compose来部署elk的配置，可直接下载使用。 git clone https://github.com/deviantony/docker-elk.git 如果没有git，那就安装一下（ yum install git ），或者直接下载github仓库的源码包。 当前是基于7.2.1版（docker-elk目录下.env文件中定义，可修改）。 调整一下相应的配置。 修改docker-compose，设置es密码等， vim docker-compose.yml # 在elasticsearch部分设置环境变量，将jvm堆内存增大到了1g，设置es elastic用户的密码 environment: ES_JAVA_OPTS: "-Xmx1g -Xms1g" ELASTIC_PASSWORD: Passw0rd # 将logstash的端口映射从默认的5000改为5044

开篇来自于经典的“保安的哲学三问”（你是谁，在哪儿，要干嘛） 问题一、ElasticSearch是什么？有什么用处？ 答：截至2018年12月28日，从ElasticSearch官网（ https://www.elastic.co/cn/products ）上，得知：ElasticSearch是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可靠性和管理便捷性而设计。 用于搜索、分析和存储您的数据。 问题二、ElasticSearch的由来？ 答：大约在2010年，一个叫Shay Banon的待业工程师跟随他的新婚妻子来到伦敦，他的妻子想在伦敦学习做一名厨师。而他在伦敦寻找工作的期间，接触到了Lucene的早期版本，他想为自己的妻子开发一个方便搜索菜谱的应用。直接使用Lucene构建搜索会有很多的坑以及重复性的工作，所以Shay便在Lucene的基础上不断进行抽象来让Java程序嵌入搜索变得更容易一些，经过一段时间的打磨，就诞生了他的第一个开源作品，他给自己的这个作品起了个名字，叫 “Compass”，中文即“指南针”的意思。之后，Shay找到了一份新工作，新工作是处在一个高性能分布式的开发环境中。他在工作中渐渐发现，越来越需要一个易用的高性能、实时、分布式搜索服务，于是他决定重写Compass，将它从一个库打造成了一个独立的server

前言 由于elasticsearch依赖java环境，所以，首先要安装java jdk。 这里使es和kibana的版本保持一致，环境如下： centos7.3 java1.8 elasticsearch6.7.0 kibana6.7.0 ik6.7.0 另外，要检查一下防火墙是否关闭： firewall-cmd --state # 检查防火墙是否关闭 systemctl stop firewalld.service # 停止firewall systemctl disable firewalld.service # 禁止开机启动 java for linux 在Linux平台，直接使用 yum 命令下载 java jdk 即可。 [root@cs home] # yum install java-1.8.0-openjdk -y 默认的， java jdk 被安装到了 /usr/lib/jvm/ 目录： 下载并安装完毕，我们使用如下命令测试java环境是否配置完毕： [root@cs home] # java -version OK，java环境配置完毕。至于配置 javac ，见鬼去吧！ elasticsearch for linux 在 elastic 官网的elasticsearch 下载页面 ，复制 tar 包链接： 然后，使用 wget 命令下载即可： [root@cs

kibana从5.6升级到6.8 下载kibana和elasticsearch的tar包 解压之后进入到kibana-6.8.5/config，和elasticsearch/config 如下报错： missing authentication token for REST request [/_template/.kibana_task_manager?include_type_name=true&filter_path=*.version] 解决办法 进入 elasticsearch/bin 目录，输入命令： ./elasticsearch-setup-passwords 不要进入xpack目录下去执行 setup-passwords ，会失败。 这一步是创建用户名和密码，我输入的用户名是 elastic ，密码是 changeme 。 然后进入 kibana-6.8.5/config/ 目录 vim kibana.yml 输入以下内容： elasticsearch.username: "elastic" elasticsearch.password: "changeme" 其他参数修改： server.host: "127.0.0.1" elasticsearch.hosts: "http://127.0.0.1:9200" kibana.index: ".kibana"

操作系统 win7 (当时想在linux下部署,虚拟内存过小，转而在windows下) 版本说明 elasticsearch-6.6.2 （elasticsearch-head-master插件） logstash-6.6.2 kibana-6.6.2-windows-x86_64 流程(最简单流程如下，后期可以让logstash 存在kafka redis中) logstash采集日志------->elasticsearch中<--------kibana读取数据在展显。 部署 本次测试为单机部署,主要目地测试功能的使用。本次下载的安装包为二进制 Elasticsearch是java程序，而且要跑在jdk1.8版本以上 安装Elasticsearch 修改Elasticsearch配置文件 D:\install\elk\elasticsearch-6.6.2\config\elasticsearch.yml cluster.name: mrice #配置集群名，两台服务器名保持一致 node.name: xgwang # 配置单一节点名称，每个节点唯一标识 path.data: D:\install\elk\elasticsearch-6.6.2\data # data存储路径 path.logs: D:\install\elk\elasticsearch-6.6.2\logs

起步 SB 项目搭建 JPA + MySQL REST + HTML js 跨域 ES 集成 ES CURD 基于 ES template 实现复杂查询 ES postman kibana devtools dsl Vue 双向绑定 事件 数据交互 + 数据渲染 MySQL、ES 数据同步 SB 集成 ES 来源： oschina 链接： https://my.oschina.net/beanho/blog/3651990

[toc] 原文： Structured Logging: The Best Friend You’ll Want When Things Go Wrong 介绍    在这篇文章里，我们重点介绍结构化日志。我们讨论是是什么，为什么好，以及如何构建一个框架更好的与我们当前基于 Elastic stack 的日志后端集成，使我们更好，更高效记日志。    结构化日志是我们竭力做的很大一部分，结构化日志能让我们减少bug解决时间（MTTR），中断时帮助开发人员更快地缓解问题。 什么是日志？    日志是包含有关系统中发生一些事件的几行文本信息，并且起着帮助我们了解后端正在发生的事情的重要作用。日志通常放置于重要事件的代码中（例如：成功操作某些数据库，或者指派司机给乘客），或我们感兴趣留意的代码中。    当有错误时，正常开发者做的第一件事情就是查看日志——有点像浏览系统的历史，并且找出发生了什么。因此，在服务中断、错误、构建失败时，日志成为开发人员最好的朋友。 现在的日志具有不同的格式和功能 日志格式 ：从基于键-值（像syslog）到非常结构化和详细（像JSON）。由于日志主要用于开发者的眼睛，因此日志详细和结构化程度决定了开发者查询和阅读日志的速度。数据越结构化——每行日志就越大，尽管更易于查询和包含更丰富的信息。 等级日志（或日志等级） ：不同等级对应着不同重要性的日志

大数据常见英文词汇（待更新） words(单词) resilient 有弹性的 parallelize 并行化 procedure 过程 process 进程、处理 program 程序 schedule 日程安排 scheduler 调度程序 schema 架构 segment 段 operation 算子 convergence 汇聚 visualize 可视化 plugin 插件 transactional 事务性 integrity 完整 slot 窄缝，扁口;位置，时间，机会 a bunch of 一群 ELK elasticsearch 弹性搜索 logstash 日志存放 kibana vertical bar 竖条 dash board 仪表盘 Covariance 协方差 constraints 约束条件 repository 存储库 Parquet 镶木地板 specify 指定 immutable 不变的 block 块 greater than gt 大于 less than lt 小于 Phrases（词组） Streaming data processing （基于实时）数据流的数据处理 interactive query （基于历史数据的）交互式查询 batch data processing （复杂的）批量数据处理 URI (Uniform

一、系统的基本架构 　　 在以前的博客中有介绍过在物理机上搭建ELK日志分析系统，有兴趣的朋友可以看一看-------------->> 链接戳我 <<。这篇博客将介绍如何使用Docker来更方便快捷的搭建，架构图如下： 　　 说明：WEB服务器代表收集日志的对象，由Filebeat收集日志后发送给Logstash2，再由Logstash2发送至Redis消息队列，然后由Redis发送至Logstash1，最后由ElasticSearch收集处理并由Kibana进行可视化显示。这里之所以需要两层Logstash是因为WEB服务器可以是任何服务器，可能会出现多个不同日志需要分析。这个架构可以用在较大规模的集群中，在生产中可以将各个功能单点进行扩展，例如将Redis和Logstash集群化。 二、Docker搭建ES集群 　　 默认系统已安装好docker，创建ES集群docker挂载目录，编辑配置文件： ~]# mkdir -pv /root/elk/{logs,data,conf} vim /root/elk/conf/ elasticsearch.yml cluster.name: es5. 6 - cluster #集群识别名，在一个集群中必须同名 node.name: node1 #节点标识 network.host: 192.168 . 29.115 #节点IP http

一. elasticsearch on windows 　　1.下载地址： 　　　　 https://www.elastic.co/cn/downloads/elasticsearch 　　　　如果浏览器下载文件慢，建议使用迅雷下载，速度很快。下载版本为7.5.2 　　2. 修改配置文件 　　　　下载后解压，找到config\jvm.options，分配JVM堆内存大小，原则上是分配总内存的50%给 elasticsearch，但不要超过30.5GB，原因是64位寻址会导致性能下降。将默认1g改成512m, 个人电脑当默认1g时，windows安装会出现：HeapDumpOnOutOfMemoryError 　　　　 　3. windows安装 　　　　　打开cmd执行以下命令 　　　　　E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install 　4.启动服务 　　　　由于elasticsearch比较耗内存，默认安装服务设置启动方式为手动，除非真的使用windwos作为服务器， 手动启动服务后，浏览器查看： http://localhost:9200/ ，出现以下代表成功 　　　　　 　　　　name：为集群中的节点名称，默认值为当前机器名称。 　　　　cluster_name:集群的名称