grok

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 Elasticsearch 官方网站 Elasticsearch 文档 NLog.Targets.ElasticSearch package Elasticsearch - 简介 Elasticsearch 作为核心的部分，是一个具有强大索引功能的文档存储库，并且可以通过 REST API 来搜索数据。 它使用 Java 编写，基于 Apache Lucene ，尽管这些细节隐藏在 API 中。 通过被索引的字段，可以用许多不同的聚合方式找到任何被存储(索引)的文档。 但是，ElasticSearch不仅仅只提供对这些被索引文档的强大搜索功能。 快速、分布式、水平扩展，支持实时文档存储和分析，支持数百台服务器和 PB 级索引数据。 同时作为 Elastic stack (aka ELK) 的核心，提供了诸如 LogStash、Kibana 和更多的强大应用。 Kibana 是 Elasticsearch 中专门提供强有力的可视化查询Web应用程序。 使用Kibana，能非常简单地为 Elasticsearch 中索引的数据创建查询、图表和仪表盘。 Elasticsearch开放了一个 REST API，你会发现许多文档示例是 HTTP 调用，你可以尝试使用 curl 或

环境 操作系统：ubuntu16.04 软件版本： filebeat-6.2.2-linux-x86_64 步骤 官网 https://www.elastic.co/cn/ 下载 curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.tar.gz 注意版本需要与elasticsearch版本保持一样 解压 tar zvxf logstash-6.6.2.tar.gz 移动 mv logstash-6.6.2 /opt 进入 cd logstash-6.6.2/config 复制conf模板文件 cp logstash-sample.conf logstash.conf 修改默认配置 input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" #password => "changeme" } } 启动 ./bin/logstash -f ./config/logstash.conf

一、windows下安装Filebeat 官网下载安装包 解压到指定目录，打开解压后的目录，打开filebeat.yml进行配置。 1、配置为输出到ElasticSearch ①：配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 。。eg：在当前目录下建一个data文件夹，里面放下载的示例文件（ 在Logstash那篇 ），人家应该是linux下的文件。 我这里将下载的日志文件 加了后缀.log ，放在data目录下 所以我的配置如下： - type: log # Change to true to enable this input configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: - E:\filebeat-6.6.2-windows-x86_64\data\logstash-tutorial.log\*.log #- c:\programdata\elasticsearch\logs\* ②：配置 enabled: true 这个配置很重要，只有配置为true之后配置才可生效，否则不起作用。 ③：配置Outputs ，这里的Outputs有elasticsearch，logstash

-1. Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到你最喜欢的“存储”。 Inputs：用于从数据源获取数据，常见的插件如file, syslog, redis, beats 等 Filters：用于处理数据如格式转换，数据派生等，常见的插件如grok, mutate, drop, clone, geoip等 Outputs：用于数据输出，常见的插件如elastcisearch，file, graphite, statsd等 Logstash最值得一提的是，在Filter plugin部分具有比较完备的功能，比如grok，能通过正则解析和结构化任何文本，Grok 目前是Logstash最好的方式对非结构化日志数据解析成结构化和可查询化。此外，Logstash还可以重命名、删除、替换和修改事件字段，当然也包括完全丢弃事件，如debug事件。还有很多的复杂功能供程序员自己选择，你会发现这些功能Flume是绝对没有（以它的轻量级线程也是不可能做到的）。当然，在input和output两个插件部分也具有非常多类似的可选择性功能，这一点跟Flume是比较相似的。 -2. Flume 是一个分布式、可靠和高可用的服务，用于收集、聚合以及移动大量日志数据，使用一个简单灵活的架构，就流数据模型。这是一个可靠、容错的服务。