filebeat

ELK日志分析及操作步骤： 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景 中，此方法效率低下，面临问题包括日志量太大如何归档、文本 搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所 有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在 不同的服务器上，问题出现时，大部分情况需要根据问题暴露的 关键信息，定位到具体的服务器和服务模块，构建一套集中式日 志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合 使用，完美衔接，高效的满足了很多场合的应用。目前主流的一 种日志系统。 ELK的核心套件： ElasticSearch是实时全文搜索和分析引擎，提供搜集、分析、存 储数据三大功能；是一套开放REST和JAVA API等结构提供高效 搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜 索引擎库之上。 Logstash是一个用来搜集、分析

We are installing ELS and Kibana for log aggregation/analysis. The first system to use it is greenfield so we output structured logs from the services that make up our system. Given that we don't need to add structure to our logs I was planning on using FileBeat to ship the logs directly to ELS and not use LogStash. Is this a sensible option or does LogStash have value over and above parsing that we might need? If we do use LogStash can I use that to harvest log files or should I still use FileBeat to pump the logs to LogStash? Logstash is useful if you need to aggregate logs from many servers

centos7.6使用 supervisor 对filebeat7.3.1进程进行管理 Supervisor 是一个 Python 开发的 client/server 系统，可以管理和监控类 UNIX 操作系统上面的进程。它可以同时启动、关闭多个进程，使用起来比较方便。 组成部分 supervisor 主要由两部分组成： supervisord(server 部分)：主要负责管理子进程，响应客户端命令以及日志的输出等； supervisorctl(client 部分)：命令行客户端，用户可以通过它与不同的 supervisord 进程联系，获取子进程的状态等。 1.安装pip和supervisor yum install -y python-pip pip install supervisor 2.创建配置目录： mkdir -p /etc/supervisor/conf.d 安装完成之后，可以运行 echo_supervisord_conf 生成默认的配置文件： echo_supervisord_conf > /etc/supervisor/supervisord.conf 修改配置 编辑 /etc/supervisor/supervisord.conf 里 include 部分 [include] files = /etc/supervisord/conf.d/*.conf #

3台es集群 ▷ elasticsearch 7.3.2 ▷ filebeat 7.3.2 ▷ kibana 7.3.2 es1的配置： # 集群名字 cluster.name: my-application # 节点名字 node.name: 192.168.1.31 # 日志位置 path.logs: /opt/logs/elasticsearch # 本节点访问IP network.host: 192.168.1.31 # 本节点访问 http.port: 9200 # 节点运输端口 transport.port: 9300 # 集群中其他主机的列表 discovery.seed_hosts: ["192.168.1.31", "192.168.1.32", "192.168.1.33"] # 首次启动全新的Elasticsearch集群时，在第一次选举中便对其票数进行计数的master节点的集合 cluster.initial_master_nodes: ["192.168.1.31", "192.168.1.32", "192.168.1.33"] # 启用跨域资源共享 http.cors.enabled: true http.cors.allow-origin: "*" # 只要有2台数据或主节点已加入集群，就可以恢复 gateway.recover_after

一、需求背景 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要我们运维到服务器上分析日志 二、为什么要用到ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大也就是日志量多而复杂的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。大型系统通常都是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告，监控机制 而ELK则提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。是目前主流的一种日志系统。 三、ELK简介 ELK是三个开源软件的缩写

1、Beat家族 Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。 2、FileBeat安装 2.1 安装 直接下载，解压 2.2 配置 配置文件：filebeat.yml 定义日志文件路径 对于最基本的Filebeat配置，你可以使用单个路径。例如： filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log 在这个例子中，获取在/var/log/*.log路径下的所有文件作为输入，这就意味着Filebeat将获取/var/log目录下所有以.log结尾的文件。 为了从预定义的子目录级别下抓取所有文件，可以使用以下模式：/var/log/ * / *.log。 这将抓取/var/log的子文件夹下所有的以.log结尾的文件。 它不会从/var/log文件夹本身抓取。 目前，不可能递归地抓取这个目录下的所有子目录下的所有.log文件。 假设配置的输入路径是/var/log/ * / *.log，假设目录结构是这样的： 那么只会抓取到2.log和3.log，而不会抓到1.log和4.log。 因为/var/log/aaa/ccc/1.log和/var/log/4.log不会被抓到。 来源： https:/

1、安装docker前安装pip sudo yum -y install epel-release sudo yum install python-pip 2、安装docker #安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 #添加docker yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo #可选操作：允许拓展最新的不稳定的repository yum-config-manager --enable docker-ce-edge #安装Docker yum -y install docker-ce #安装docker-compose sudo pip install -U docker-compose #启动Docker systemctl start docker 安装ELK: 1、下载镜像 这里我们使用elk集成镜像，地址： https://hub.docker.com/r/sebp/elk/tags [root@centos-mq ~]# docker pull sebp/elk:660 注：660为elk版本 2、启动 [root@centos-mq ~]

阅读目录： 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日志数据，在 Kibana 中显示 5. 安装配置 Filebeat 6. Filebeat 采集的日志数据，在 Kibana 中显示 7. Filebeat 采集日志数据，Logstash 过滤 8. Filebeat 采集的日志数据，Logstash 过滤后，在 Kibana 中显示 上一篇主要说的是 Elasticsearch 和 Kibana 安装配置，以及服务追踪数据的处理和展示，日志数据采集使用的 Spring Cloud Sleuth Zipkin + Stream/RabbitMQ 中间件（Service 端配置），然后 Zipkin Server 从队列中获取日志数据，再使用 HTTP 的请求的方式，传输并存储到 Elasticsearch 中，最后 Kibana 进行日志数据展示。 在 ELK Stack 中，日志数据采集有单独的工具，就是 Logstash 和 Beats。 Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为 c/s 架构，client 端安装在需要收集日志的主机上，server 端负责将收到的各节点日志进行过滤、修改等操作在一并发往 Elasticsearch 上去。