logstash

一、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 Beats：filebeat:日志文件，metricbeat:类似cpu/内存度量数据，packetbeat:网络数据，winlogbeat:windows数据，heartbeat：健康检查 官网地址：https://www.elastic.co/cn/ 二、ELK安装环境

传统系统日志收集的问题 传统项目中，如果在生产环境中，有多台不同的服务器集群，如果生产环境需要通过日志定位项目的Bug的话，需要在每台节点上使用传统的命令方式查询，这样效率非常底下。 通常，日志被分散在储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 查询命令： tail -n 300 myes.log | grep 'node-1' tail -100f myes.log ELK分布式日志收集系统介绍 ElasticSearch 是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中

官网地址: https://www.elastic.co/cn/ ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询 二，部署环境 系统：Centos 7.4 IP：192.168.1.88 安装： elasticsearch、logstash、Kibana 三，安装Elasticsearch 1，安装jdk (java环境必须是1.8版本以上的) rpm

一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/en/elasticsearch/reference/5.x/rpm.html ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据

　　一，安装环境查看 　　二，软件版本选用 jdk 1.8.0_171 elasticsearch 7.1.1 kibana 7.1.1 logstash 7.1.1 　　 　　三，安装配置 　　1，安装JDK 　　过程不详述 　　2，安装ELK 　　官网下载安装包 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-x86_64.rpm wget https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-x86_64.rpm wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.rpm 　　安装 rpm -ivh elasticsearch-7.1.1-x86_64.rpm rpm -ivh kibana-7.1.1-x86_64.rpm rpm -vih logstash-7.1.1.rpm 　　修改elasticsearch配置文件 /etc/elasticsearch/elasticsearch.yml 　　 #集群名 cluster.name: my-es #node名 node.name: node-1 #数据目录 path

https://blog.51cto.com/zero01/2079879 https://blog.51cto.com/zero01/2082794 1.安装ES：　 　 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch vim /etc/yum.repos.d/elastic.repo # 增加以下内容 　　 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md yum install -y elasticsearch 或者： wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.rpm rpm -ivh elasticsearch-6.0.0.rpm 启动： systemctl start

ELK 是一个log分析，采集的工具。他给我们提供了多重的组件。 常用的3个组件 E： ElasticSearch 日志存储组件，底层是luence实现，采用倒排排序算法。也有自己内部的索引系统 L: Logstash 日志采集，分析，过滤 功能实现模块，将采集到的数据存储在E 中 K： Kibana 展示模块，回将采集到的数据，展示出来，可以用作大屏展示。 安装的话，就先从最核心的模块E 开始了。 版本选择： elasticsearch 2.4.6，kibana4.6.1 ，logstash2.4.0。 5以上的对系统的实时性会有一些保证，如果对实时性有要求的话，用5以上版本。 E：elasticsearch 安装 下载： 下载可以在官网上面下载。 https://www.elastic.co/cn/products/2.4.6 注意ES 不能使用root 用户安装。 1）解压 2）修改配置文件。 在 config 目录下面修改 vim elasticsearch.yml cluster.name: my.elk #集群名称，如果有多个集群，那么每个集群名就得是唯一的 node.name: node-192.168.0.8 #节点名称 node.master: true #该节点是否是master，true表示是的，false表示否，默认是true node.data: true

日志分析实践与应用 这个场景是，日志系统平时为了系统处理能力，我们使用INFO级别或ERROR级别，当发现问题时，我们需要不停服务的动态的将日志级别变更为DEBUG以便在执行细节发现问题，下面列举了动态变更的操作，需要借助代码、定时和配置中心服务。 在微服务的场景，日志是散落在各个服务集群节点中，不方便查看，所以我们需要通过集中收集到一处保存、查看和分析。 应用程序中日志的配置 logback.xml 1.在configuration中配置include，引用defaults.xml、console-appender.xml和file-appender.xml基础配置，可以复用变量、默认配置和策略。 2.定义一个stash的appender，配置目标主机和端口以及转码器用什么。通过配置将日志发送到统一日志管理平台进一步分析与保存。 注：对于推荐使用logback-spring.xml不使用logback.xml，官方也没有给出推荐理由，经测试logback.xml配置依然可用，也可以在变更后自动重启，所以没换，只是注意configuration属性scan不能设置为true，由spring来扫描即可。 具体配置如下： <?xml version="1.0" encoding="UTF-8"?> <configuration> <include resource="org