filebeat

我们知道我们可以使用Filebeat很方便地把我们的log数据收集进来并直接写入到我们的Elasticsearch之中。 就像我们上面的这个图显示的一样。这样我们就不需要另外一个Logstash的部署了。Logstash可以很方便地帮我们对数据进行处理，比如对数据进行转换, 丰富数据等等。有一种情况，我们不想部署自己的Logstash，但是我们还是像对我们的数据进行一些处理，那么我们该怎么办？我们其实可以利用ingest node所提供的Pipeline帮我们对数据进行处理。 Ingest node 如果大家还不知道如何配置我们的node为一个ingest node的话，可以参阅我之前的文章“ Elasticsarch中的一些重要概念:cluster, node, index, document, shards及replica ”。我们需要在Elasticsearch中的配置文件elasticsearch.yml文件中配置： node.ingest: true ingest node提供了在对文档建立索引之前对其进行预处理的功能： 接收节点拦截索引或批量API请求 运用转换（transformation） 将文档传递回索引或批量API 什么是pipeline呢？ 如果大家想对pipleline有更多的了解，请参阅我的文章“ 如何在Elasticsearch中使用pipeline

简单概述 　　最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大，启动一个logstash就需要消耗500M左右的内存，而filebeat只需要10来M内存资源。常用的ELK日志采集方案中，大部分的做法就是将所有节点的日志内容通过filebeat送到kafka消息队列，然后使用logstash集群读取消息队列内容，根据配置文件进行过滤。然后将过滤之后的文件输送到elasticsearch中，通过kibana去展示。 filebeat介绍 　　Filebeat由两个主要组成部分组成：prospector和 harvesters。这些组件一起工作来读取文件并将事件数据发送到您指定的output。 什么是harvesters？ 　　harvesters负责读取单个文件的内容。harvesters逐行读取每个文件，并将内容发送到output中。每个文件都将启动一个harvesters。harvesters负责文件的打开和关闭，这意味着harvesters运行时，文件会保持打开状态。如果在收集过程中，即使删除了这个文件或者是对文件进行重命名

一、目标 1）实现自定义索引 2）不同的input输出到各自对应的索引，nginx的日志输出到index-nginx的索引，zabbix的日志输出到index-zabbix，app的日志输出到index-app（如图1）；这样不会弄成大杂烩。 图1： 结果图： 二、配置文件 # 定义app、zabbix、nginx等应用的input类型、以及存放的具体路径 filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log fields: source: app - type: log enabled: true paths: - /var/log/nginx/*.log fields: source: nginx - type: log enabled: true paths: - /var/log/zabbix/*.log fields: source: zabbix filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: true setup.template.settings: index.number_of_shards: 1 # 定义kibana的IP:PORT setup.kibana: host:

环境说明： 主机名 操作系统版本 ip docker version kubelet version 配置 备注 master Centos 7.6.1810 172.27.9.131 Docker 18.09.6 V1.14.2 2C2G 备注 node01 Centos 7.6.1810 172.27.9.135 Docker 18.09.6 V1.14.2 2C2G 备注 node02 Centos 7.6.1810 172.27.9.136 Docker 18.09.6 V1.14.2 2C2G 备注 k8s集群部署详见： Centos7.6部署k8s(v1.14.2)集群 k8s学习资料详见： 基本概念、kubectl命令和资料分享 一、Kubernetes核心组件 1. 核心组件概述 Kubernetes主要由以下几个核心组件组成： etcd 保存了整个集群的状态； apiserver 提供了资源操作的唯一入口，并提供认证、授权、访问控制、API 注册和发现等机制； controller manager 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等； scheduler 负责资源的调度，按照预定的调度策略将 Pod 调度到相应的机器上； kubelet 负责维护容器的生命周期，同时也负责 Volume（CVI）和网络（CNI）的管理； Container

一、概述 ELK是由Elastic公司开发的Elasticsearch、Logstash、Kibana三款开源软件的缩写（但不限于这三款软件）。 为什么使用ELK? 　　在目前流行的微服务架构中，一个大型应用可能会被划分成几十甚至上百个微服务，这些微服务产生的日志也会分布在不同的服务器不同的目录下，按常规方式进行日志检查你会频繁登录每台服务器查找日志，所以你可能需要一个集中化的日志管理平台。 　　如果要对这些日志进行数据分析，常规方式可采用hadoop或spark等大数据技术手段来进行数据分析，但终究这些方式需要编写代码和相关专业知识，时间、人力成本略高，所以你可能需要一个开箱即用的搜索、聚合、可视化的数据分析平台。 　　综上所述，ELK首先是一个集中化日志管理平台，但同时也是一个快速的可视化数据分析平台。 架构选择 　　ELK架构很灵活，不同的架构适合不同的场景。 　　在文章末尾提供了一个链接，可作为不同架构方式的参考。 二、服务架构 上图中分为4层，含义如下： 1、filebeat日志采集端，采集日志并将日志发送到kafka； 2、kafka+zookeeper集群，用于中转、缓冲海量日志； 3、logstash从kafka中拉取日志，并过滤、转发到elasticsearch中； 4、elasticsearch集群，用于存储日志；kibana将海量日志可视化展示、统计； 三

一、拓扑图 二、下载 elasticsearch-7.2.0-linux-x86_64.tar.gz filebeat-7.2.0-linux-x86_64.tar.gz kibana-7.2.0-linux-x86_64.tar.gz 此处的本机IP是192.168.100.11 三个包 配置安装elasticsearch ​ root@node01:~/ELK# tar zxvf elasticsearch-7.2.0-linux-x86_64.tar.gz ​ root@node01:~/ELK# ls elasticsearch-7.2.0 elasticsearch-7.2.0-linux-x86_64.tar.gz filebeat-7.2.0-linux-x86_64.tar.gz kibana-7.2.0-linux-x86_64.tar.gz ​ root@node01:~/ELK# mv elasticsearch-7.2.0 /usr/local/es ​ root@node01:~/ELK# cd /usr/local/es/ ​ root@node01:/usr/local/es# ls bin config data jdk lib LICENSE.txt logs modules NOTICE.txt plugins README.textile ​

一、Filebeat介绍 Filebeat是轻量级单用途的日志收集工具，用于在没有安装java的服务器上专门收集日志，可以将日志转发到logstash、elasticsearch或redis等场景中进行下一步处理。 官方文档： https://www.elastic.co/guide/en/beats/filebeat/6.0/index.html 二、Filebeat安装和配置 1、filebeat安装 #RPM安装 [root@linux-node2 ~]# curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpm [root@linux-node2 ~]# rpm -vi filebeat-6.0.1-x86_64.rpm #docker安装 [root@linux-node2 ~]# docker pull docker.elastic.co/beats/filebeat:6.0.1 2、filebeat配置输出到文件测试 [root@linux-node2 ~]# grep -v "#" /etc/filebeat/filebeat.yml |grep -v "^$" filebeat.prospectors: - type: log enabled

1、elk说明 elk全称： elasticsearch: 是一个分布式、高扩展、高实时的搜索与数据分析引擎;简称es logstash: 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中;如elasticsearch中 kibana: 是为 Elasticsearch设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。 以上三个组件就是常说的elk~ 2、快速部署配置elk 1）部署环境： Centos7,本文基于7.x部署 172.16.0.213 elasticsearch 172.16.0.217 elasticsearch 172.16.0.219 elasticsearch kibana kibana只要在其中一台部署即可; 2)配置官方yum源 三台均配置repo源 $ cat /etc/yum.repos.d/elast.repo [elasticsearch-7.x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum

Elk通过filebeat获取nginx日志信息 Kibana -- 基础设施 -- 查看安装说明 -- 所有 -- nginx日志 下载并安装Filebeat curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gz tar xzvf filebeat-7.1.1-darwin-x86_64.tar.gzcd filebeat-7.1.1-darwin-x86_64/ 编辑配置 修改filebeat.yml以设置连接信息： output.elasticsearch: hosts: ["<es_url>"] # ip:9200 username: "elastic" #用户密码可不填 password: "<password>" setup.kibana: host: "<kibana_url>" # ip:5601 用户<password>密码在哪里，Elasticsearch 的URL是，Kibana的URL。elastic<es_url><kibana_url> 启用并配置Nginx模块 在安装目录中，运行： ./filebeat modules enable nginx vim /etc/filebeat/modules.d

小生博客： http://xsboke.blog.51cto.com -------谢谢您的参考，如有疑问，欢迎交流 目录: 本次使用的组件 环境 WEB 配置 Elasticsearch 配置 通过 nginx 访问 elasticsearch 和 kibana 扩展: filebeat input 配置 排错方法 组件简介和作用 filebeat收集日志 -> logstash过滤/格式化 -> elasticsearch存储 -> kibana展示 # 个人理解 其实logstash和filebeat都可以收集日志并且直接输出到elasticsearch. 只不过logstash功能比filebeat更多,比如:过滤,格式化 filebeat比logstash更轻,所以filebeat收集日志速度更快. 环境 #基于ELK7.4,通过收集Nginx日志示例. centos7.2-web 172.16.100.251 nginx/filebeat/logstash centos7.2-elasticsearch 172.16.100.252 elasticsearch/kibana WEB 配置 1. 安装 Nginx yum -y install yum-utils vim /etc/yum.repos.d/nginx.repo [nginx-stable] name