logstash

操作系统： centos版本 7.4 防火墙 关闭 selinux 关闭 logstash版本 6.3.2 java版本 1.8 server2 192.168.10.127 [root@server2 ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.tar.gz [root@server2 ~]# tar zxf logstash-6.3.2.tar.gz -C /usr/local/ [root@server2 ~]# cd /usr/local/logstash-6.3.2/ [root@server2 logstash-6.3.2]# bin/logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}' #-e代表执行的意思 input即输入的意思，input里面即使输入的方式，这里选择了stdin，就是标准输入(从终端输入) output即输出的意思，output里面时输出的方式，这里选择了stdout，就是标准输出(输出到终端). 这里 codec就是个插件，表明格式。这里放在stdout中，表示输出的格式，rubydebug时专门用来做测试的格式，一般用来在终端输出JSON格式。 [root@server2

logstash 分三大块, input, filter, output. 这三快往往存在一些问题，如： logstash input （IO密集，受限网卡和数据源性能等） logstash filter (CPU密集，瓶颈容易出在这） logstash output (IO密集，受限网卡，写入速度，数据源性能等） 在此之前先要了解现有配置： 1234567891011121314 $ curl 'localhost:9607/_node/pipeline?pretty'{ "host" : "hadoop-slave-3", "version" : "5.2.0", "http_address" : "127.0.0.1:9607", "id" : "c6c416c7-d82c-4b71-8153-e2f9fbc0eda2", "name" : "hadoop-master", "pipeline" : { "workers" : 8, "batch_size" : 125, "batch_delay" : 5, "config_reload_automatic" : false, "config_reload_interval" : 3 } 对于单一应用性能常受限于： 系统资源：cpu核数，cpu单核速度，内存，网卡，磁盘 应用分配到的硬件资源：分配的cpu核数

ElasticSearch搭建 Linux系统添加用户 [root@local] #useradd elastic [root@local] #password 123456 下载ElasticSearch，我的版本是elasticsearch-5.5.2，解压后更改文件持有者 [root@local] #chown -R elastic:elastic elasticsearch-5.5.2 修改配置文件elasticsearch.yml，修改以下配置 #集群名称 cluster . name: es_prd_cluster #节点名称，不做集群不需要设置 node . name:node01 #配置外网访问 network . host: 0 . 0 . 0 . 0 http . port: 9200 #momery下配置 bootstrap . memory_lock: false bootstrap . system_call_filter: false #Various下配置 http . cors . enabled: true http . cors . allow - origin: "*" 配置完，需要修改一些系统配置 更改文件句柄数 [root@localhost ~] # vi /etc/security/limits.conf * soft nofile

作者其他ELK快速入门系列文章 logstash快速入门实战指南 Kibana从入门到精通 一、前言 驱动未来商业发展的最重要“能源”不是石油，而是数据。我们还来不及了解它，这个世界已经被它淹没。多年来，我们系统间流转和产生的大量数据已让我们不知所措。现有的技术都集中在如何解决数据仓库存储以及如何结构化这些数据。这些看上去都挺美好，直到你实际需要基于这些数据实时做决策分析的时候才发现根本不是那么一回事。Elasticsearch在这个时代能给我们带什么呢？我们带着这些疑问去探索Elasticsearch能做什么。。。 二、Elasticsearch能做什么 Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个前所未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合： Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索，还有 search-as-you-type 和 did-you-mean 的建议。 卫报 使用 Elasticsearch 将网络社交数据结合到访客日志中，实时的给它的编辑们提供公众对于新文章的反馈。 Stack Overflow 将地理位置查询融入全文检索中去，并且使用 more-like-this 接口去查找相关的问题与答案。 GitHub 使用

前言 什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个： 处理方式灵活： elasticsearch是实时全文索引，具有强大的搜索功能 配置相对简单：elasticsearch全部使用JSON 接口，logstash使用模块配置，kibana的配置文件部分更简单。 检索性能高效：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应。 集群线性扩展：elasticsearch和logstash都可以灵活线性扩展 前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单 什么是Elasticsearch： 是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能 什么是Logstash： 可以通过插件实现日志收集和转发，支持日志过滤，支持普通log、自定义json格式的日志解析。 什么是kibana： 主要是通过接口调用elasticsearch的数据，并进行前端数据可视化的展现。 一

本博文只用于实现简单群集配置，更深入的资料可以参考 官方文档 。 一、安装前准备 环境如下： 系统版本 IP 角色 centos 7.5 192.168.20.2 ES 01、logstash、ES-Head、logstash、kibana centos 7.5 192.168.20.7 ES 02 centos 7.5 192.168.20.8 ES 03 注：文中用到的所有软件包，均可在我的网盘链接中 下载 ，或者去 es中文社区 下载es相关组件。 1、配置域名解析 [root@node01 src]# cat > /etc/hosts << EOF > 192.168.20.2 node01 > 192.168.20.7 node02 > 192.168.20.8 node03 > EOF > #将hosts文件发送到其他节点 [root@node01 src]# scp /etc/hosts root@node02:/etc/hosts [root@node01 src]# scp /etc/hosts root@node03:/etc/hosts 2、配置java环境 注：以下操作需要在所有节点上进行配置。 JDK官方下载地址 #卸载自带的java环境 [root@node01 src]# rpm -qa | grep jdk java-1.8.0-openjdk

1.Elasticsearch安装和Logstash安装环境参照 https://blog.csdn.net/qq_33371766/article/details/103322707 2.启动elasticsearch和kibana 3.在logstash准备同步的log和conf文件 根据图示创建文件夹和文件 3.1 myfile.conf (根据实际情况修改path的路径和es的服务地址) input { file { path =>"D:\workTool\logstash-6.3.2\myfileconfig\log_info.log" type=>"info_log" #类型名称 } } output { elasticsearch { hosts => ["192.168.75.1:9200"] index => "info_index" #索引名称 } stdout { codec => json_lines } } 3.2 info_log.log (这里添加了3条数据，是一条一条添加的，logstash会实时的同步到es中） ===2019-12-16 19:25:13.361 INFO com.zaxxer.hikari.HikariDataSource Line:110 - HikariPool-1 - Starting... ===2019-12-16

需求分析 日志是作为线上系统排错的关键，通常我们在本机代码调试的时候，错误会直接打印在控制台上，因此我们才能进行错误的判断。当系统运行在线上的时候，如果单纯的通过捕获异常 ，使用**e.printStackTrace()**进行打印肯定是不行的。因为其他的运行信息或者异常也会将打印的信息给顶掉。 这个时候我们就需要引入日志系统了，这里就不在赘述如何打印日志了。 上述这种情况是在单机版的情况下正常运行，这个时候我们的日志是可以正常的进行查看。但是，当我们开始做分布式，做微服务的时候，单机版的日志系统对于这种情况就不适用了。、 此时此刻，日志记录在多个服务器的log文件当中，而对于我们来说排错就变得异常困难了。因为一个服务可能做了集群之后，生成的日志文件还需要去查看在哪个服务器，对于开发的排错来说大大降低了效率。 显然，此时此刻我们需要一个分布式的日志管理系统，对所有的日志进行统一的管理。 分布式日志系统ELK是指Elasticsearch+Logstash+Kibana。Elasticsearch是一个开源的全文检索工具用于日志存储，Logstash是一个日志收集工具。Kibana用于日志查询与展示。下面是系统简单架构图。 ELK的架构体系十分的简单，首先Logstash通过读取数据源中的数据，进行过滤，然后在输出到ElasticSearch当中去。接着使用Kibbna进行日志的查看

ELK日志分析系统 ELK日志分析系统简介 日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 收集数据：LogstashAgent 建立索引：ElasticSearchCluster 数据可视乎：KilbanaServer 简单的结果拓扑 ELK日志分析系统 Elasticsearch 是实时全文搜索和分析引擎 Logstash 是一个用来搜集、分析、过滤日志的工具 Kibana 是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据 日志处理步骤 将日志进行集中化管理 将日志格式化( Logstash )并输出到Elasticsearch 对格式化后的数据进行索引和存储( Elasticsearch ) 前端数据的展示( Kibana ) 2、Elasticsearch介绍 1、Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索引擎 2、Elasticsearch的概念 接近实时 集群 节点 索引： 索引(库)–>类型(表)–>文档(记录) 分片和副本 3、Logstash介绍 1、Logstash介绍 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤，改写等)以及数据输出 2、LogStash主要组件 Shipper Indexer Broker Search