filebeat

由于6.3.0默认有es的监控功能，并且我们现在es总是有各种问题，原有的es开源插件head和HQ的监控都不够详细，所以决定升级es集群。我们目前es有5个node。我们的数据流向是filebeat logstash kafka logstash elasticsearch grafana 由于各种配置文件问题，直接rpm -e elasticsearch， 然后安装6.3.0的es，/etc/elasticsearch/elasticsearch.yml 配置文件不变。 根据 官网 从5.6.3到6.3.0可以rolling upgrade,按照步骤直接操作，但是在升级完一个node之后，等es没有Initializing Shards和Relocating Shards的时候，等了两天的时候，Initializing Shards和Relocating Shards一直有，而且新的index貌似大部分都在升级的这个节点，导致数据严重不均衡，如果这样下去，这样这一个新升级的节点承受不了这么大的数据量，这时候找了是3台空闲机器，装上6.3.0的es加到整个集群中，这样一直等到了没有Initializing Shards和Relocating Shards的时候，但是按道理讲，es应该变成绿色，但是es集群还有UNASSIGNED shards，不过没有Initializing

1. 配置文件 filebeat-prod.yml #监控的日志文件 paths : - /usr/ local / project / logs /*.log output.kafka: enabled: true hosts: ["10.10.183.152:9092","10.10.183.153:9092","10.10.183.154:9092"]#Kafka集群机器地址 topic: monitorLog 2. 复制启动脚本： filebeat.sh #!/bin/bash echo "copy filebeat soft" #将软件复制到其他服务器 ansible XX - m copy - a "src=/usr/local/soft/filebeat-7.1.0-linux-x86_64.tar.gz dest=/usr/local/soft" #解压文件 ansible XX - m shell - a "tar -xzvf /usr/local/soft/filebeat-7.1.0-linux-x86_64.tar.gz -C /usr/local/soft " #配置文件复制 ansible XX - m copy - a "src=/usr/local/soft/filebeat-controller/filebeat-prod.yml dest=

小慢哥Linux运维 原创精品/技术分享/经验总结 博客园 首页 新随笔 联系 订阅 管理 EFK教程 - EFK快速入门指南 通过部署elasticsearch（三节点）+filebeat+kibana快速入门EFK，并搭建起可用的demo环境测试效果 作者： “发颠的小狼” ，欢迎转载与投稿 目录 ▪ 用途 ▪ 实验架构 ▪ EFK软件安装 ▪ elasticsearch配置 ▪ filebeat配置 ▪ kibana配置 ▪ 启动服务 ▪ kibana界面配置 ▪ 测试 ▪ 后续文章 用途 ▷ 通过filebeat实时收集nginx访问日志、传输至elasticsearch集群 ▷ filebeat将收集的日志传输至elasticsearch集群 ▷ 通过kibana展示日志 实验架构 ▷ 服务器配置 ▷ 架构图 EFK软件安装 版本说明 ▷ elasticsearch 7.3.2 ▷ filebeat 7.3.2 ▷ kibana 7.3.2 注意事项 ▷ 三个组件版本必须一致 ▷ elasticsearch必须3台以上且总数量为单数 安装路径 ▷ /opt/elasticsearch ▷ /opt/filebeat ▷ /opt/kibana elasticsearch安装 ：3台es均执行相同的安装步骤 mkdir -p /opt/software && cd /opt

安装java 安装java1.8以上的版本并验证 [root@localhost ~]# yum install java [root@localhost ~]# java -version openjdk version "1.8.0_222" OpenJDK Runtime Environment (build 1.8.0_222-b10) OpenJDK 64-Bit Server VM (build 25.222-b10, mixed mode) 安装Elasticsearch 安装Elasticsearch（Elasticsearch、Kibana、FileBeat版本最好一致） [root@localhost ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz [root@localhost ~]# tar -zxvf elasticsearch-6.2.4.tar.gz[root@localhost ~]# mv elasticsearch-6.2.4 /usr/local/elasticsearch-6.2.4[root@localhost ~]# cd /usr/local/elasticsearch-6.2.4 [root

./filebeat setup --dashboards curl -X GET "10.0.6.114:9200/_cat/indices?v" 启动filebeat cd /opt/filebeat-6.5.4-linux-x86_64 ./filebeat -e -c filebeat.yml & 启动kafka cd /opt/kafka_2.11-2.1.0/bin ./kafka-server-start.sh ../config/server.properties & 启动zookeeper cd /opt/kafka_2.11-2.1.0 ./bin/zookeeper-server-start.sh ./config/zookeeper.properties & 生成一个topic bin/kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-factor 1 --partitions 1 --topic elk 查看topic bin/kafka-topics.sh --list --zookeeper 10.0.6.25:2181 来源：博客园 作者： frantzz 链接：https://www.cnblogs.com/frantz/p/11462470.html

filebeat modules list //查看模块 ./filebeat modules enable nginx //开启模块 cd /usr/local/filebeat6.8.1/modules.d vim nginx.yml 配置路径 ,注意语法：后面要加入一个空格 ./filebeat setup启动 ./filebeat -e

a.用户期望的pod副本数量; b.标签选择器,判断哪个pod归自己管理; c.pod资源模板,当现存的pod数量不足,会根据pod资源模板进行新建. cat rs-demo.yaml apiVersion: apps/v1 kind: ReplicaSet metadata: name: rs-myapp namespace: default spec: replicas: 2 selector: matchLabels: run: myapp release: canary template: metadata: name: whatever labels: run: myapp release: canary env: test spec: containers: - name: nginx-web image: ikubernetes/myapp:v1 ports: - name: http containerPort: 80 template:资源模板中定义的name其实不生效,pod运行起来之后,真正的名字是控制器名+随机字符串 kubectl create -f rs-demo.yaml kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE rs-myapp-2hxc9 1/1 Running

filebeat.inputs: - input_type: log paths: - /var/log/apache/httpd-*.log document_type: apache - input_type: log paths: - /var/log/messages - /var/log/*.log Filebeat Options input_type: log|stdin 指定输入类型 paths 支持基本的正则，所有golang glob都支持,支持/var/log/*/*.log encoding plain, latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gbk, hz-gb-2312, euc-kr, euc-jp, iso-2022-jp, shift-jis, and so on exclude_lines 支持正则 排除匹配的行，如果有多行，合并成一个单一行来进行过滤 include_lines 支持正则 include_lines执行完毕之后会执行exclude_lines。 exclude_files 支持正则 排除匹配的文件 exclude_files: ['.gz$'] tags 列表中添加标签，用过过滤 filebeat.inputs: - paths: ["

Filebeat6.3文档―Log input配置 paths 日志加载的路径.例如加载某一子目录级别下面路径的日志: /var/log/*/*.log .这表示会去加载以.log结尾的/var/log下面的所有子目录,注意:这不包括 /var/log 这一级目录.可在paths前面加(-),指定多个目录路径 recursive_glob.enabled 这个特性可以在路径后面跟随 ** ,表示加载这个路径下所有的文件,例如: /foo/** ,表示加载 /foo,/foo/*,/foo/*/* .这项特性默认是打开的,要关闭可以设置 recursive_glob.enabled=false encoding encdoing根据输入的文本设置 plain, latin1, utf-8, utf-16be-bom, utf-16be, utf-16le, big5, gb18030, gbk, hz-gb-2312, euc-kr, euc-jp, iso-2022-jp, shift-jis, and so on exclude_lines 用一个数组匹配FIlebeat排除的行 如果使用了multiline这个设置的话,每一个multiline信息在被exclude_lines过滤之前都会被合并成一个简单行 下面这个例子表示,Filebeat会过滤掉所有的以DBG开头的行

elk 为 elasticsearch（查询搜索引擎）,logstash（对日志进行分析和过滤，然后转发给elasticsearch）,kibana(一个web图形界面用于可视化elasticsearch数据)缩写 1.安装docker环境 2. 准备镜像 拉取 elk镜像，我们用sebp/elk docker pull sebp/elk, 3. 启动容器 docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk -d -p 端口映射，5601为kibana 使用，9200为elasticsearch使用，5044为logstash使用 -d 守护进程运行容器 在浏览器输入hostip:5601 正常情况下会显示界面，但是没有日志，因为还没有收集日志信息,我们要做的是将docker的日志导入elk. 4.安装filebeat 我们知道docker 会将容器日志记录到 /var/lib/docker/containers/id/id-json.log 只要将此文件发给elk就可以实现日志管理，elk提供了一个配套工具filebeat,转发日志和监控日志文件 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6