logstash

1.前置工作 1.虚拟机环境简介 Linux版本:Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux ip地址:192.168.1.4(虚拟机Nat配置可参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/97689891 ) Java环境:java 12.0.2(java环境安装可以参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/87868286 ) 2.用户及权限配置 由于ELK产品不能以root用户运行，所以要先创建一个普通用户，并且最低要给予该用户你运行程序目录的执行权限，以及配置文件的修改权限和运行程序中产生文件的读写权限等。 #创建用户和组[root@localhost gz]# groupadd es_group [root@localhost gz]# useradd es_user [root@localhost gz]# passwd es_user Changing password for user es_user. New

elasticsearch logstash使用说明 ***************************** logstash 简述 logstash从输入源接受数据，直接发送达目的地，或者对数据进行过滤后在传输到目的地 输入源： logstash支持多种输入源，如： stdin、beats、elasticsearch、file、jdbc、redis等 过滤器： logstash提供多种过滤器，过滤器可不使用，如： grok、geoip、date等 输出源： logstash支持多种输出源，如： elasticsearch、redis、stdout等 ***************************** logstash 配置说明 配置文件位置： /usr/share/logstash/config/logstash.yml 默认配置 http.host: "0.0.0.0" xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ] 管道配置： /usr/share/logstash/pipeline/logstash.conf 输入配置 #控制台输入 input { stdin { } } #beats输入 input { beats { port => 5044 } } #file输入

1.实验环境：   使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完成的数据，进行文档分析，，构建索引，提供查询等操作，kibana提供图形化界面查询的组件 逻辑拓扑图 2.实验步骤 本实验所用的四个软件包全部都是5.6版本 下载相关网站： https://www.elastic.co/cn/products 配置前注意事项：1.关闭防火墙。2.关闭SELinux。3.同步时间 步骤1.实现收集httpd服务的日志文件，并将数据发送给redis服务 http+filebeat服务器相关配置 [root@filebeat ~]# yum install -y httpd [root@filebeat ~]# echo test > /var/www/html/index.html [root@filebeat ~]# systemctl start httpd [root@filebeat ~]# rpm -ivh filebeat-5.6.10-x86_64.rpm

在 /etc/logstash/conf.d/ 目录内新建文件 httpd.conf root@b4bb675920c7:/# vi /etc/logstash/conf.d/httpd.conf input { file { path => "/data/access_log" start_position => "beginning" } } filter { grok { match => { "message" => "%{IPORHOST:clientip} - - \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}) %{QS:referrer} %{QS:agent}" } } } output { elasticsearch { hosts => ["localhost:9200"] } stdout {codec => rubydebug} } 收集数据源 以apache日志为数据源, 通过logstash过滤后输出到elasticsearch收集起来, 然后在kibana进行可视化分析 接收数据源 root

一：logstash介绍 Logstash在elk系统中为数据存储，报表查询和日志解析创建了一个功能强大的管道链。Logstash提供了多种多样的 input,filters,codecs和output组件 ，logstash由以下三部分组成 input数据输入端，可以接收来自任何地方的源数据 1：file：从文件中读取 2：syslog：监听在514端口的系统日志信息，并解析成RFC3164格式 3：redis：从redis-server list 中获取 4：beat：接收来自Filebeat的事件 filter 数据中转层，主要进行格式处理，数据类型转换、数据过滤、字段添加，修改等，主要用做过滤 1：grok: 通过正则解析和结构化任何文本。Grok 目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大部分需求。 2：mutate: 在事件字段执行一般的转换。可以重命名、删除、替换和修改事件字段。 3：drop: 完全丢弃事件，如debug事件。 4：clone: 复制事件，可能添加或者删除字段。 5：geoip: 添加有关IP地址地理位置信息。 output 是logstash工作的最后一个阶段，负责将数据输出到指定位置，兼容大多数应用 1：elasticsearch: 发送事件数据到

支持多种数据获取机制，通过TCP/UDP协议、文件、syslog、windows、EventLogs及STDIN等；获取到数据口，支持对数据进行过滤、修改等操作 JRuby语言研发，工作在JVM中 agent/server Logstash安装 yum install logstash-5.2.2.rpm 配置logstash的环境变量： vim /etc/profile.d/logstash.sh加入： export PATH=$PATH:/opt/logstash/bin logstash的配置文件目录： /etc/logstash/conf.d/下的以.conf结尾的文件 简单的输入输出语法配置： vim /etc/logstash/conf.d/sample.conf input { stdin {} } output { stdout { codec => rubydebug } } 语法检测： logstash -f /etc/logstash/conf.d/sample.conf --configtes 启动logstash： logstash -f /etc/logstash/conf.d/sample.conf Logstash配置框架： input{ ... } filter{ ... } output{ ... } 四种类型的插件： input，filter

ELK下载 https://www.elastic.co/cn/downloads/ Elasticsearch搭建 Elasticsearch 集群 Logstash搭建 因为没有真实的环境的，我就手动上传了两个log日志文件做测试使用 在Logstash/config下面新增一个配置文件config-log-1.conf input { # 从文件读取日志信息 输送到控制台 file { path => "/yangk/ELK/logs/2019-08-02.log" codec => "json" ## 以JSON格式读取日志 type => "elasticsearch" start_position => "beginning" } } output { # 标准输出 # stdout {} # 输出进行格式化，采用Ruby库来解析日志 stdout { codec => rubydebug } elasticsearch { #ES的复制 hosts => ["192.168.100.151:9201"] # 根据每天创建索引 index => "es-%{+YYYY.MM.dd}" } } 启动命令，到bin目录 ./logstash -f ../config/config-log-1.conf logstash启动很慢的，而且内存要配置大一点。不然会报错。启动不成功

1.虚拟机创建 1.1 系统环境 [root@localhost ~]# cat /etc/os-release NAME="CentOS Linux" VERSION="7 (Core)" ID="centos" ID_LIKE="rhel fedora" VERSION_ID="7" PRETTY_NAME="CentOS Linux 7 (Core)" ANSI_COLOR="0;31" CPE_NAME="cpe:/o:centos:centos:7" HOME_URL="https://www.centos.org/" BUG_REPORT_URL=https://bugs.centos.org/ 主机名设置 hostnamectl set-hostname elk [root@elk ~]# hostnamectl Static hostname: elk Icon name: computer-vm Chassis: vm Machine ID: d1d80bc30b414ba7a6e5e49906699d7d Boot ID: 49488ed1b1434c8aa06fca343bf67ccf Virtualization: vmware Operating System: CentOS Linux 7 (Core) CPE OS Name: cpe:/o