filebeat

小生博客： http://xsboke.blog.51cto.com -------谢谢您的参考，如有疑问，欢迎交流 目录 需求 环境 Grok 官方介绍 Web 端配置 部分效果展示 需求 使用filebeat收集nginx访问日志,output到logstash, logstash使用grok filter plugin将获取到的nginx日志结构化 将结构化的nginx日志output到elasticsearch 环境 这里只列出了和 grok 相关的配置,其他配置参考文章 ELK7.4-快速入门实现数据收集 . web 172.16.100.251 nignx/filebeat/logstash elasticsearch 172.16.100.252 elasticsearch/kibana Grok 的官方介绍 解析任意文本并将其结构化。 Grok 是将非结构化日志数据解析为结构化和可查询内容的好方法。 该工具非常适合 syslog 日志， apache 和其他 Web 服务器日志， mysql 日志，以及通常用于人类而非计算机使用的任何日志格式。 Grok 语法: %{SYNTAX:SEMANTIC} SYNTAX :匹配语法,也就是 Grok 语法.附: 点击查看:Grok Patterns SEMANTIC :用于标识匹配到的字符串,也就是 field .

导读：数据总线DBus的总体架构中主要包括六大模块，分别是：日志抓取模块、增量转换模块、全量抽取程序、日志算子处理模块、心跳监控模块、Web管理模块。六大模块各自的功能相互连接，构成DBus的工作原理：通过读取RDBMS增量日志的方式来实时获取增量数据日志（支持全量拉取）；基于Logstash，flume，filebeat等抓取工具来实时获得数据，以可视化的方式对数据进行结构化输出。本文主要介绍的是DBus中基于可视化配置的日志结构化转换实现的部分。 一、结构化日志的原理 1.1 源端日志抓取 DBus可以对接多种log数据源，例如：Logstash、Flume、Filebeat等。上述组件都是业界比较流行的日志抓取工具，一方面便于用户和业界统一标准，方便用户技术方案的整合；另一方面也避免了无谓的重复造轮子。抓取的数据我们称为原始数据日志（raw data log），由抓取组件将其写入Kafka中，等待DBus后续处理。 1.2 可视化配置规则，使日志结构化 用户可自定义配置日志源和目标端。同一个日志源的数据可以输出到多个目标端。每一条“日志源-目标端”线，用户可以根据自己的需要来配置相应的过滤规则。经过规则算子处理后的日志是结构化的，即：有schema约束，类似于数据库中的表。 1.3 规则算子 DBus设计了丰富易用的算子，用于对数据进行定制化操作

一、ELK介绍 ELK是三款开源软件的缩写，即：ElasticSearch + Logstash + Kibana。这三个工具组合形成了一套实用、易用的监控架构，可抓取系统日志、apache日志、nginx日志、mysql日志等多种日志类型，目前很多公司用它来搭建可视化的集中式日志分析平台。 ElasticSearch：是一个分布式的RESTful风格的搜索和数据分析引擎，同时还提供了集中存储功能，它主要负责将logstash抓取来的日志数据进行检索、查询、分析等。 Logstash：日志处理工具，负责日志收集、转换、解析等，并将解析后的日志推送给ElasticSearch进行检索。 Kibana：Web前端，可以将ElasticSearch检索后的日志转化为各种图表，为用户提供数据可视化支持。 Filebeat：轻量型日志采集器，负责采集文件形式的日志，并将采集来的日志推送给logstash进行处理。 Winlogbeat：轻量型windows事件日志采集器，负责采集wondows的事件日志，并将采集来的日志推送给logstash进行处理。 二、部署环境 由于我这边是测试环境，所以ElasticSearch + Logstash + Kibana这三个软件我都是装在一台机器上面，如果是生产环境，建议分开部署，并且ElasticSearch可配置成集群方式。 IP:192.168

笔记内容：搭建ELK日志分析平台——搭建kibana和logstash服务器 笔记日期：2018-03-03 27.6 安装kibana 27.7 安装logstash 27.8 配置logstash 27.9 kibana上查看日志 27.10 收集nginx日志 27.11 使用beats采集日志 本文是上一篇 搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群 的后续。 安装kibana 由于上一篇中我们已经配置过yum源，这里就不用再配置了，直接yum安装即可，安装命令如下，在主节点上安装： [root@master-node ~]# yum -y install kibana 若yum安装的速度太慢，可以直接下载rpm包来进行安装： [root@master-node ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm [root@master-node ~]# rpm -ivh kibana-6.0.0-x86_64.rpm 安装完成后，对kibana进行配置： [root@master-node ~]# vim /etc/kibana/kibana.yml # 增加以下内容 server.port: 5601 #