filebeat

ELK filebeat：具有日志收集功能，相比logstash，+filebeat更轻量，占用资源更少，适合客户端使用。 redis 消息队列选型 ：Redis 服务器通常都是用作 NoSQL 数据库，不过这里的 redis 只是用来做消息队列，海量日志建议使用kafka。 logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 elasticsearch：Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 kibana：Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。 主机名 配置 角色 软件版本 filebeat 无 日志搜集客户端 https://www.elastic.co/cn/downloads/beats/filebeat redis 2 vCPU 8 GiB 消息队列 redis-stable.tar.gz logstash 4

1. 前言 在日常运维工作中，对于系统和业务日志的处理尤为重要。尤其是分布式架构，每个服务都会有很多节点，如果要手工一个一个的去取日志，运维怕是要累死。 简单介绍： ELK 是 elasticsearch + logstash + kibana 三款开源软件的简称。 elasticsearch：是个开源的分布式搜索引擎，特点是：分布式、配置简单、自动发现、索引自动分片、索引副本机制、restful风格接口，多数据源，自动搜索负载等 logstash：可以对日志进行收集、滤过、并将其存储在 elasticsearch中 kibana：可以为 elasticsearch提供友好的用户交互界面，用户可以通过 kibana来分析、搜索甚至绘图来分析数据。 这里介绍下目前使用比较多的架构： ELK + filebeat Filebeat 是一个轻量级开源日志文件数据收集器，可以将它安装到需要收集的节点上，它会将日志输送到 logstash 或 elasticsearch 有了 ELK 就可以将分布到多台的日志统一规划起来。 网络上有很多关于 ELK 的部署方案，参考了很多发现要不就是老版本的，要不就是不太完善，因此自己做下记录。 注意：在安装 ELK 的时候，这三个软件的版本必须保持支持，否则出现各种bug 2. ELK搭建过程 实验拓扑图： 实验环境主机服务介绍： 本次实验是收集

安装java 安装java1.8以上的版本并验证 [root@localhost ~]# yum install java [root@localhost ~]# java -version openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode) 安装Elasticsearch 安装Elasticsearch（Elasticsearch、Kibana、FileBeat版本最好一致） [root@localhost ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz [root@localhost ~]# tar -zxvf elasticsearch-6.2.4.tar.gz[root@localhost ~]# mv elasticsearch-6.2.4 /usr/local/elasticsearch-6.2.4[root@localhost ~]# cd /usr/local/elasticsearch-6.2.4 [root

version: "3.4" services: es-master: container_name: es-master image: elasticsearch:7.3.1 restart: always ports: - 19200:9200 - 19300:9300 environment: - node.name=es-master - cluster.initial_master_nodes=es-master volumes: - "/home/smb/data/es/master:/usr/share/elasticsearch/data" - "/home/smb/config/es/master/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml" - "/home/smb/logs/es/master:/user/share/elasticsearch/logs" networks: - smb es-node1: container_name: es-node1 image: elasticsearch:7.3.1 restart: always volumes: - "/home/smb/data/es/node1:/usr/share/elasticsearch/data

转载于网络 pod是kubernetes的最小单元，自主式创建的pod删除就没有了，但是通过资源控制器创建的pod如果删除还会重建。pod控制器就是用于实现代替我们去管理pod的中间层，并帮我们确保每一个pod资源处于我们所定义或者所期望的目标状态，pod资源出现故障首先要重启容器，如果一直重启有问题的话会基于某种策略重新编排。自动适应期望pod数量 pod控制器类型简介： 　　1.ReplicaSet: 　　　　代用户创建指定数量的pod副本数量，确保pod副本数量符合用户期望的数量状态，如果少了多退少补，并且支持滚动式自动扩容和缩容机制。 　　　　ReplicaSet主要三个组件组成：　　 　　　　　　（1）用户期望的pod副本数量 　　 　　　　　　（2）标签选择器，判断哪个pod归自己管理 　　 　　　　　　（3）pod资源模板（当现存的pod数量不足，会根据pod资源模板进行新建帮助用户管理无状态的pod资源，精确反应用户定义的目标数量。不直接使用） 　　Deployment： （无状态，守护进程类，只关注群体不关注个体） 　　　　工作在ReplicaSet之上，用于管理无状态应用，目前来说最好的控制器。支持滚动更新和回滚功能，还提供声明式配置。（pod数量和node没有精确的配比，没有一对一的关系） 　　DaemonSet：（无状态，守护进程类，只关注群体不关注个体）

整体流程 filebeat收集openresty应用日志传输到Redis集群中 Logstash从Redis集群中拉取数据，并传输到Elasticsearch集群 使用Kibana可视化索引 使用Elasticsearch-head管理lasticsearch集群 注：Logstash不支持集群模式 环境 均为CentOS 7.4 x64系统 openresty 192.168.0.10 1.15.8版本 filebeat 192.168.0.10 7.3.0版本 Redis集群 192.168.0.11 6381-6386端口(暂采用伪集群的方式) 5.0.5版本 Logstash 192.168.0.12 7.3.0版本 Elasticsearch集群 192.168.0.13-15 7.3.0版本 Kibana 192.168.0.16 7.3.0版本 Elasticsearch-head 192.168.0.17 软件下载地址 filebeat|Logstash|Elasticsearch|Kibana： https://www.elastic.co/cn/downloads/past-releases#elasticsearch Elasticsearch-head： https://github.com/mobz/elasticsearch-head Redis：

使用filebeat收集系统日志，不同应用的日志，然后把这些日志传输给Logstash，再然后交由elasticsearch处理，那么如何区分不同的日志来源呢？ filebeat.yml配置文件中不启动模块，全部使用如下方式输出日志 filebeat.inputs: - type: log enabled: true paths: - /var/log/logstash/logstash-plain.log fields: log_source: logstash fields_under_root: true multiline.pattern: ^\d{4}-\d{1,2}-\d{1,2} multiline.negate: true multiline.match: after scan_frequency: 5s close_inactive: 1h ignore_older: 24h 2.logstash目录下conf.d/*.conf配置文件依据log_source的值不同，生成不同的index索引 具体参数还可以增加，过滤条件还可以设置 output { if [log_source] == "logstash" { elasticsearch { hosts => ["http://localhost:9200"] index => "logstash-%{

本文档搭建filebeat、kafka、elk、的日志采集、流传输、解析、存储、可视化系统。 一.说明 1.k8s的pod(容器)挂载volumes,将容器内数据持久化到宿主机的磁盘目录。 2.filebeat监控宿主机上的目录，采集生产日志数据。 3.kafka消息队列传输日志数据，创建topic,用来存放数据。 4.logstash消费kafka的日志数据，存储到elasticsearch,同时建立索引。 5.elasticsearch存储日志数据。 6.kibana发现索引，搜索日志数据集，可视化。 二.环境搭建&配置 搭建： 1.filebeat、kafka采用官网下载的tar.gz包。 2.elk采用docker compose下载镜像。 配置： 1.filebeat 输入：磁盘日志路径 输出：kafka的生产端（传输的数据集根据topic可以找到） 如果使用独立的kinana,指定kinana的host,如下配置： 2.kafka解压: kafka监听的ip和port： zookeeper监听的port： 创建topic (名为elk)：bin/kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-factor 1 --partitions 1 --topic elk 查找topic：bin

0. 事前准备工作 0.1 防火墙 若是使用公网IP的话可以考虑关闭防火墙，或者放行相应端口 使用内网IP的话可以不用管防火墙 0.2 关闭SElinux # setenforce 0 文件：/etc/selinux/config SELINUX=disabled 0.3 内核优化 文件：/etc/security/limits.conf，在最后加入如下内容: * soft nofile 65537 * hard nofile 65537 * soft nproc 65537 * hard nproc 65537 文件：/etc/security/limits.d/20-nproc.conf，修改如下内容: * soft nproc 4096 文件：/etc/sysctl.conf,修改好后使用 sysctl -p 生效 vm.max_map_count = 262144 net.core.somaxconn = 65535 net.ipv4.ip_forward = 1 0.4 软件准备 软件存放路径：/usr/local/src elasticsearch-7.3.0-x86_64.rpm filebeat-7.3.0-x86_64.rpm kibana-7.3.0-x86_64.rpm logstash-7.3.0.rpm openjdk-12_linux-x64_bin