elk搭建

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案。在志邦项目部署了三台服务器到生产环境，生产环境用了nginx做负载均衡，通常，日志被分散的储存不同的服务器（tomcat）上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下，对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心，而且志邦接口较多，接口报文存储查询较慢，目前也是存在放在es非关系数据上。 开源实时日志分析 ELK 平台能够完美的解决我们上述的问题， ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。 Logstash：负责日志的收集，处理 Elasticsearch：负责日志检索，分析和储存 Kibana：负责日志的可视化，图形化 2.1 安装Elasticsearch 以elk用户启动ES (以root用户启动会报错) 所以我们创建一个elk文件以及elk用户 创建 elk用户，elk文件夹，并把文件夹权限赋给elk用户 mkdir elk useradd elk chown -R elk elk chgrp -R elk elk 解压 elasticsearch-7.1.0-linux-x86_64.tar.gz 切换用户

1. 前言 在日常运维工作中，对于系统和业务日志的处理尤为重要。尤其是分布式架构，每个服务都会有很多节点，如果要手工一个一个的去取日志，运维怕是要累死。 简单介绍： ELK 是 elasticsearch + logstash + kibana 三款开源软件的简称。 elasticsearch：是个开源的分布式搜索引擎，特点是：分布式、配置简单、自动发现、索引自动分片、索引副本机制、restful风格接口，多数据源，自动搜索负载等 logstash：可以对日志进行收集、滤过、并将其存储在 elasticsearch中 kibana：可以为 elasticsearch提供友好的用户交互界面，用户可以通过 kibana来分析、搜索甚至绘图来分析数据。 这里介绍下目前使用比较多的架构： ELK + filebeat Filebeat 是一个轻量级开源日志文件数据收集器，可以将它安装到需要收集的节点上，它会将日志输送到 logstash 或 elasticsearch 有了 ELK 就可以将分布到多台的日志统一规划起来。 网络上有很多关于 ELK 的部署方案，参考了很多发现要不就是老版本的，要不就是不太完善，因此自己做下记录。 注意：在安装 ELK 的时候，这三个软件的版本必须保持支持，否则出现各种bug 2. ELK搭建过程 实验拓扑图： 实验环境主机服务介绍： 本次实验是收集

题注： 该教程是在虚拟机创建完毕的情况下实践的，关于如何创建虚拟机，欢迎访问我的博客《 VMware创建Centos7虚拟机并配置静态IP 》 1、elasticsearch简介： Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。 无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 但是，Lucene只是一个库。想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。 Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 Elasticsearch不仅仅是Lucene和全文搜索，我们还能这样去描述它： 分布式的实时文件存储，每个字段都被索引并可被搜索； 分布式的实时分析搜索引擎； 可以扩展到上百台服务器，处理PB级结构化或非结构化数据； 而且，所有的这些功能被集成到一个服务里面，你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。 上手Elasticsearch非常容易。它提供了许多合理的缺省值

ELK的环境搭建好之后，如何利用收集到的数据进行数据告警呢？在破解ELK之后，它本身提供一个监视器功能,配置偏向编写脚本。有一个更加方便的插件sentiel。 一、下载并安装sentinl插件 https://github.com/sirensolutions/sentinl/releases/ 上下载对应版本 在对应目录下执行 kibana/bin/ kibana-plugin install file:///users/xxx/xxx/sentinl.6.4.2.zip（最好先下载在上传至服务器,避免网络中断的情况） 执行完之后，可以在kibana界面左侧看到 steninl功能菜单 二、配置邮件发送 1. 在 kibana.yml中最下方配置 sentinl: settings: email: active: true user: abc@qq.com 【注:这里配置的邮箱账号在配置发送邮件方的时候需要用,如果与它不一致会发不出去】 password: xxxxx 【注:在qq邮箱处设置三方登录密码】 host: smtp.exmail.qq.com ssl: true port: 465 【注:linux系统如果是阿里云的会禁用默认的25端口，这里需要设置465】 timeout: 10000 report: active: false 2. 点击Sentinl –

Elasticsearch安装配置 ·下载elasticsearch.tar.gz包，解压压缩包。（此处为单机版es，集群请参考 https://www.cnblogs.com/lazycxy/p/9468074.html） ·创建ES用户和组（创建elsearch用户组及elsearch用户），因为使用root用户执行ES程序，将会出现错误；所以这里需要创建单独的用户去执行ES 文件；命令如下： 命令一： groupadd elsearch 命令二： useradd elsearch -g elsearch 命令三： chown -R elsearch:elsearch elasticsearch-5.6.3 //该命令是更改该文件夹下所属的用户组的权限 ·修改ES的配置文件，使用cd命令进入到config 文件下，执行 vi elasticsearch.yml 命令 命令一： vi elasticsearch.yml 修改如图所示三处配置，保存退出。 ·切换到elsearch用户，启动elasticsearch；命令如下： 命令一： su elsearch 命令二： ./elasticsearch (执行 ./elasticesrarch -d 是后台运行) 错误一 : 此时会提示 vm.max_map_count [65530] is too low 这个值设置的太小

0. 事前准备工作 0.1 防火墙 若是使用公网IP的话可以考虑关闭防火墙，或者放行相应端口 使用内网IP的话可以不用管防火墙 0.2 关闭SElinux # setenforce 0 文件：/etc/selinux/config SELINUX=disabled 0.3 内核优化 文件：/etc/security/limits.conf，在最后加入如下内容: * soft nofile 65537 * hard nofile 65537 * soft nproc 65537 * hard nproc 65537 文件：/etc/security/limits.d/20-nproc.conf，修改如下内容: * soft nproc 4096 文件：/etc/sysctl.conf,修改好后使用 sysctl -p 生效 vm.max_map_count = 262144 net.core.somaxconn = 65535 net.ipv4.ip_forward = 1 0.4 软件准备 软件存放路径：/usr/local/src elasticsearch-7.3.0-x86_64.rpm filebeat-7.3.0-x86_64.rpm kibana-7.3.0-x86_64.rpm logstash-7.3.0.rpm openjdk-12_linux-x64_bin

Docker部署ELKF操作文档 前提介绍 1、之前搭建elk+f+k使用原生系统软件安装方式，由于docker镜像日趋成熟，docker官网和elastic官网都有相关镜像和各自安装文档可供参考，各个版本也在定期更新，这次决定换用docker方式进行搭建安装。 Docker（elk）的hub网站链接及文档： https://hub.docker.com/r/sebp/elk https://elk-docker.readthedocs.io/ 2、搭建前准备： [由于公司资源有限，开一台虚拟机放置elk所有插件，若有足够资源，可考虑使用分布式部署及es集群方式] 空余主机一台（内存>=6G）： Linux Centos7.6 用到的主要软件有： Elasticsearch7.0.0 (搜索引擎-server端) Kibana7.0.0 (图形化web界面-server端) Logstash7.0.0 (log的汇总与收集-server端) Filebeats7.0.1 (log收集-client端) 或 Metricbeat-7.0.1(client端) 一、安装docker及elk相关软件 yum list | grep docker yum makecache fast ###移除旧版本### yum remove docker docker-client docker

ELK环境搭建 因csdn语法支持与github不太一样，欢迎访问本文github版： https://github.com/JimXiongGM/KnowledgeBasedSearch/blob/master/ELK环境搭建.md 目录 准备 mysql数据准备 安装配置elasticsearch 7.3 安装配置Logstash 更新mysql数据 查询效果 使用ik分词器 安装Kibana 准备 本文参考网络资料，搭建Elasticsearch 7.3 + logstash 7.3 + kibana7.3环境，并使用ik分词器从mysql8.0中通过logstash导入数据到es中进行搜索。 将如下文件放入 /root/xiazai/ 。点击可进入文件下载页面。 elasticsearch-7.3.0-linux-x86_64.tar.gz elasticsearch-analysis-ik-7.3.0.zip logstash-7.3.0.tar.gz mysql-connector-java-8.0.16.jar 下拉列表中选择Platform Independent，解压.tar.gz可得到该jar kibana-7.3.0-linux-x86_64.tar.gz mysql数据准备 mysql环境搭建可参考 MySQL8.0环境搭建 。 进入mysql： mysql

ELK学习指南 一、elasticsearch安装配置 1.1、Elasticsearch介绍 ES是一个基于Lucene实现的开源，分布式，Restful全文搜索引擎，此外，它还是一个分布式实时文档存领储，其中每个文档的第个field均是被索引的数据，且可被搜索，也是一个带实时分析功能的分布式搜索引擎，能够扩展至数以百计的节点实时处理PB级的数据。 基本组件： 索引（index）:文档容器，换句话说，索引是具有类似属性的文档的集合。类似于表，索引名必须使用小写字母。 类型（type）:类型是索引内部的逻辑分区，其意义完全取决于用户需求，一个索引内部可定义一个或多个类型，一般来说，类型就是拥有相同的域的文档的预定义。 文档(document)：文档 是Lucence索引和搜索的原子单位，它包含了一个或多个域，是域的容器，基于JSON格式 表示，每个域的组成部分：一个名字，一个或多个值：拥有多个值的域，通常称为多值域。 映射（mapping）：原始内容存储为文档之前需要事先进行分析：例如切词、过滤掉某些词等：映射用于定义此分析机制该如何实现；除此之外，ES还为映射提供诸如将域中的内容排序等功能。 ES的集群组件： Cluster：ES的集群标识为集群名称；默认为“elasticsearch”。节点就是靠此名称来决定加入到哪个集群，一个节点只能属于一个集群 Node:

Elasticsearch.net项目实战 elasticsearch.net项目实战 目录 Elasticsearch+kibana 环境搭建 windows 10环境配置 安装Elasticsearch head安装(非必需) 安装kibana 基本概念 Index Type Document DSL的基本使用 增加 修改 查询 删除 Elasticsearch .Net Low level client基本使用 项目实战 总结 参考 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最 先进、性能最好的、功能最全的搜索引擎库。 一说到全文搜索,lucene久负盛名。早年间,因为项目需要,接触过一个叫盘古分词的开源项目,借助其中的分词实现了分词搜索的功能。而盘古分词就是lucence的.NET版本。据说这个开源项目已经恢复更新并支持. NET Core,有兴趣的童鞋可以去围观一下( https://github.com/LonghronShen/Lucene.Net.Analysis.PanGu/tree/netcore2.0 )。 我想很多童鞋都听过ELK,ELK是Elasticsearch、Logstash、Kibana。正好公司运维同事引入了这样一套体系,用于建立集中式日志收集系统