filebeat

方案一 :推荐 [root@elk-node-1 filebeat]# cat filebeat.yml|egrep -v "^$|^#|#" filebeat.inputs: - type: log enabled: true paths: - /opt/app/nginx/logs/elk.log fields: service: nginx - type: log enabled: true paths: - /var/log/cron fields: service: cron filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: false setup.template.settings: index.number_of_shards: 1 setup.kibana: output.logstash: hosts: ["10.0.0.61:5044"] [root@elk-node-1 filebeat]# [root@elk-node-1 config]# cat logstash.conf input { beats { port => "5044" } } output { #输出时；如果等于nginx则输出"nginx-%{+YYYY.MM.dd}" if

Docker logs 对于一个运行的容器，Docker 会将日志发送到 容器的 标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT 和 STDERR 实际上就是容器的控制台终端。 举个例子，用下面的命令运行 httpd 容器： [root@host1 ~]# docker run -p 80:80 httpd Unable to find image 'httpd:latest' locally latest: Pulling from library/httpd 5e6ec7f28fb7: Pull complete 566e675a8212: Pull complete ef5a8026039b: Pull complete 22ecb0106557: Pull complete 91cc511c603e: Pull complete Digest: sha256:44daa8e932a32ab6e50636d769ca9a60ad412124653707e5ed59c0209c72f9b3 Status: Downloaded newer image for httpd:latest AH00558: httpd: Could not reliably determine the server's fully qualified domain name

原文: ELK日志系统：Filebeat使用及Kibana如何设置登录认证 根据 elastic 上的说法： Filebeat is a lightweight, open source shipper for log file data. As the next-generation Logstash Forwarder , Filebeat tails logs and quickly sends this information to Logstash for further parsing and enrichment or to Elasticsearch for centralized storage and analysis. F ilebeat比Logstash貌似更好，是下一代的日志收集器，ELK( E lastic + L ogstash + K ibana)以后估计要改名成EFK。 Filebeat使用方法： 1、 下载最新的filebeat 地址： https://www.elastic.co/downloads/beats/filebeat 然后解压到任意目录 2、 修改filebeat下的filebeat.yml文件，参考以下内容： filebeat: prospectors: - paths: - "/var/log/nginx/*.log"

Docker logs 对于一个运行的容器，Docker 会将日志发送到 容器的 标准输出设备（STDOUT）和标准错误设备（STDERR），STDOUT 和 STDERR 实际上就是容器的控制台终端。 举个例子，用下面的命令运行 httpd 容器： [root@host1 ~]# docker run -p 80:80 httpd Unable to find image 'httpd:latest' locally latest: Pulling from library/httpd 5e6ec7f28fb7: Pull complete 566e675a8212: Pull complete ef5a8026039b: Pull complete 22ecb0106557: Pull complete 91cc511c603e: Pull complete Digest: sha256:44daa8e932a32ab6e50636d769ca9a60ad412124653707e5ed59c0209c72f9b3 Status: Downloaded newer image for httpd:latest AH00558: httpd: Could not reliably determine the server's fully qualified domain name

ELk简介及工作流程 　　ELK即（Elasticsearch + Logstash + Kibana） 下载安装包 系统环境：Contos7.0 Java环境： Portal （这是历史下载地址，我的是 jdk-8u151-linux-x64.tar.gz ） Logstash/Elasticsearch/Kibana/Filebeat： Portal （我都是选的7.0版本） redis： Portal 下载完成后传到服务器，全部解压至“/etc/elk”目录下，注意：这里使用的是单机部署（内存应不低于2G） Java环境配置 tar -zvxf jdk-8u151-linux-x64.tar.gz -C /data/app/ ln -s /data/app/jdk1.8.0_151 /data/app/jdk cat <<EOF >> /etc/profile # 追加文件 """ export JAVA_HOME=/data/app/jdk PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar EOF """ source /etc/profile ln -s /data/app

https://www.ibm.com/developerworks/cn/opensource/os-cn-elk-filebeat/index.html ELK学习 filebeat: https://www.cnblogs.com/cjsblog/p/9445792.html Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是采集数据，并上报到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你的服务器上，将数据集中在Elasticsearch中，Beats也可以发送到Logstash来进行转换和解析。 来源： https://blog.csdn.net/qq_34316768/article/details/99546872

今天10点时候同事报出kibana突然不显示log了，开始紧急排查 　　1. 从数据源头查起,先看被filebeat监视的log文件是否在更新(一般只要log对应服务在正常运行，log文件中就会有数据持续更新) 　　 tail -f log.log 　　　发现log中数据在持续更新，说明数据源头没有问题 　　2. 查看filebeat服务的log 　　　　filebeat 服务的log输出在nohup中 　　　　tail -f nohup.out 　　　　 　　　　filebeat 正常，没有问题 　　3. 检查logstash 　　　查看logstash是否在运行 　　　在运行，但是是否logstash和ES的通信是否正常呢? 　　　看logstash 的log 　　　tail -f nohup.out 　　what？ [FORBIDDEN/12/index read-only / allow delete (api)];"}) 　　索引被置为了只读。。。。 　　官网对这个问题介绍： 　　 　　　　　进入kibana Dev Tools 　　　　　 　　　　 再次查看discover并刷新，log开始更新了````````````` 总结： 　　这个问题出现的原因就是ES存储磁盘空间不足导致， 控制洪水阶段水印。 它默认为95%

在之前的文章“ Logstash: 应用实践 - 装载CSV文档到Elasticsearch ”中，我们已经讲述了如果把一个CSV格式的文件的数据传入到Elasticsearch之中，今天我们来讲述一下如何把一个Apache log的内容传入到Elasticsearch之中。 在进行这个练习之前，大家已经按照我之前的文章“ 如何安装Elastic栈中的Logstash ”把Logstash安装好了。并且已经安装好自己的Elasticsearch及Kibana，并成功运行它们。在Elasticsearch的应用中，我们通常会把Logstash和Beats结合起来一起使用： 在今天的应用中，我们将使用Filebeats来读取我们的log，并把数据传入到Logstash之中。通过Logstash的Filter的处理，并最终送人到Elasticsearch中进行数据分析。 下载Apache 例子日志 方法一： 你可以到地址 https://github.com/elastic/examples/blob/master/Common%20Data%20Formats/apache_logs/apache_logs 进行下载。然后存于自己的一个本地目录当中。针对我的情况，我存于我自己的home目录下的一个data目录。 localhost:data liuxg$ pwd /Users

Elastic Stack传统上由三个主要组件（ El asticsearch， L ogstash和 K ibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用--一个针对不同用例的日志运送者系列。 现在网上有一种说法叫做ELKB，这里的B就是指的beats. 本教程为刚刚熟悉堆栈的用户提供了指南，并提供了开始使用不同节奏的信息-Filebeat，Packetbeat，Metricbeat，Auditbeat，Heartbeat，Winlogbeat和Functionbeat。 一点点历史 在集中式日志记录中，数据管道包括三个主要阶段：聚合，处理和存储。 在ELK堆栈中，传统上，前两个阶段是堆栈工作量Logstash的职责。执行这些任务需要付出一定的代价。 由于与Logstash的设计有关的内在问题，性能问题变得经常发生，尤其是在复杂的管道需要大量处理的情况下。将Logstash的部分职责外包的想法也应运而生，尤其是将数据提取任务转移到其他工具上。 正如我在本文中所描述的，这个想法首先在Lumberjack中体现出来，然后在Logstash转发器中体现出来。 最终，在随后的几个开发周期中，引入了新的改进协议，该协议成为现在所谓的“ Beats”家族的骨干。 Beats到底是什么呢？ Beats是轻量级（资源高效，无依赖性，小型

在之前的文章中，我介绍了如何使用Filebeat把一个日志文件直接写入到Elasticsearch中，或通过Logstash的方法写到Elasticsearch中。在今天的文章中，我们来介绍如何运用Filebeat模块来把nginx日志导入到Elasticsearch中，并进行分析。 Filebeat 模块 为您提供了一种快速处理常见日志格式的快速方法。 它们包含默认配置，Elasticsearch接收节点管道定义和Kibana仪表板，以帮助您实施和部署日志监视解决方案。 Filebeat提供了几种不同的方式来启用模块。 您可以： 在modules.d目录中启用模块配置 运行Filebeat时启用模块 在filebeat.yml文件中启用模块配置 今天我们采用第一种方法来展示如何使用Filebeat所提供的模块功能来对nginxlog进行分析。 下载测试数据 我已经上传了一个测试数据，它位于： https://github.com/liu-xiao-guo/nginx_log_file 。我们可以通过如下的方法来下载这个测试数据： git clone https://github.com/liu-xiao-guo/nginx_log_file 等我们把测试数据克隆下来后，我们可以通过如下的方法来解压，并把它存于到一个我们喜欢的目录中。 unzip nginx.zip