logstash

Logstash 简介： Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到"储存库" Logstash 是 Elastic Stack 的中央数据流引擎，用于收集、丰富和统一所有数据，不管格式或模式 1、下载与使用 官网下载地址 下载和你elasticsearch一致的版本 解压 使用 这个不用安装，主要通过 logstash 将数据集导 elasticsearch 1、在 bin 目录下创建 logstash.conf，写入 input { stdin{ } } output { stdout{ } } 2、启动 切换到 logstash/bin 目录下 logstash -f logstash.conf 3、访问 http://localhost:9600/ 2、输入、过滤器和输出 Logstash 能够动态地采集、转换和传输数据，不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构，从 IP 地址解码出地理坐标，匿名化或排除敏感字段，并简化整体处理过程。 输入 采集各种样式、大小和来源的数据 数据往往以各种各样的形式，或分散或集中地存在于很多系统中。 Logstash 支持 各种输入选择 ，可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种

1.环境部署 安装软件 主机名 IP地址 内存需求 Elasticsearch mes 192.168.13.142 至少3G Logstash log 192.168.13.143 至少2G head，Kibana head-kib 192.168.13.139 至少2G 地址与版本 Elasticsearch: 6.5.4 #https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz Logstash: 6.5.4 #https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz Kibana: 6.5.4 #https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz Kafka: 2.11-2.1 #https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz Filebeat: 6.5.4 相应的版本最好下载对应的插件 相关地址： 官网地址 2.Elasticsearch部署 系统类型：Centos7.5 节点IP：172.16.13

Filebeat快速入门 本笔记整理于 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html ，仅做个人学习总结使用。 Filebeat是轻量级日志采集工具，经常与ELK搭配使用，作为数据采集源头使用。 filebeat使用示意图 安装部署 Centos7(作者使用) 由于下载太慢了，所以我这里保存了一个下载好的版本（filebeat-6.3.2-linux-x86_64.tar）,如果使用请自取： https://quqi.gblhgk.com/s/1727102/vafFOSOsw5AXKP3d 上传到服务器，解压即可 deb(未尝试): curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-amd64.deb sudo dpkg -i filebeat-7.6.1-amd64.deb rpm(未尝试): curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-x86_64.rpm sudo rpm -vi filebeat-7.6.1-x86_64.rpm

目的 ：简化查询日志方式 参考 ： 1.安装jdk1.8 + https://my.oschina.net/springMVCAndspring/blog/1601197 1. elk整合springboot https://www.bbsmax.com/A/Gkz11xgnzR/ 2. Linux安装Elasticsearch https://www.dalaoyang.cn/article/78 3. Linux安装Logstash https://www.dalaoyang.cn/article/80 4.安装kibana https://www.dalaoyang.cn/article/79 5.日志工具类 https://my.oschina.net/springMVCAndspring/blog/3041550#h1_20 0.准备 下载软件上传到 centos7上 1.安装软件 1.1 安装jdk1.8+ https://my.oschina.net/springMVCAndspring/blog/1601197 1.2 Linux安装Elasticsearch https://www.dalaoyang.cn/article/78 1.2.1 解压 tar -zxvf elasticsearch-5.3.2.tar.gz -C ../elasticsearch 1

1.服务器 使用阿里云服务器(方便)，抢占式实例(便宜)，4核16G，系统选择centos7.4/64位(好用)。购买地址：https://ecs-buy.aliyun.com/ 我们只是测试学习使用，把端口权限全开就行(不然外网访问不了)，安全组配置那里添加如下： 2.下载ELK的包： 下载地址：https://www.elastic.co/downloads 下载最新版的、linux服务器能使用的。 右键复制链接地址，wget就可以下载，如：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz 下载完，解压，如： tar -zxvf elasticsearch-6.4.3.tar.gz 有的需要使用unzip解压，需要使用： yum install unzip 下载安装unzip工具 弄完了如下图： 3.elasticsearch配置启动 先安装jdk1.8，在centos7.4里面，直接yum install tomcat就行，会自动安装好tomcat和jdk1.8，完了java -version看下版本： 解压后进入config目录：cd elasticsearch-6.4.2/config，vim elasticsearch.yml 修改配置文件

原文出处：https://blog.csdn.net/ming_311/article/details/50619859 现在你已经安装了Kibana，现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程，你将： 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式 3.使用Discover功能探索你的数据 4.建立一个visualization图形化地展示你的数据 5.把许多visualization汇编组装成一个Dashboard 本段内容假设你已经安装好了Kibana和Elasticsearch，并且Kibana连接到了Elasticsearch。 视频教程也可获取 High-level Kibana 4 introduction, pie charts Data discovery, bar charts, and line charts Tile maps Embedding Kibana 4 visualizations 在你开始之前：加载案例数据 本段教程依赖如下数据集： 1. 莎士比亚的所有著作，合适地解析成了各个字段：shakespeare.json。 2. 随机生成的虚构账号数据：accounts.json 3. 随机生成的日志文件：logs.jsonl 以上数据可在 这里 下载

k8s集群日志收集 收集哪些日志 K8S系统的组件日志 K8S Cluster里面部署的应用程序日志 日志方案 Filebeat+ELK        Filebeat(日志采集工具)+Logstach(数据处理引擎)+Elasticserch(数据存储、全文检索、分布式搜索引擎)+Kibana（展示数据、绘图、搜索）        3 容器中的日志怎么收集        收集方案：Pod中附加专用日志收集的容器 优点：低耦合 缺点：每个Pod启动一个日志收集代理，增加资源消耗和运维维护成本              4 部署DaemonSet采取k8s组件日志/var/log/messages        4.1 ELK安装在harbor节点        安装、配置ELK        1)安装openjdk yum -y install java-1.8.0-openjdk              2）安装Logstash https://www.elastic.co/guide/en/logstash/7.6/installing-logstash.html              配置网络源 /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Elastic repository for 7.x packages

收集java日志 参考文章https://blog.csdn.net/cj2580/article/details/52416044（重要） 测试 input { stdin { codec => multiline { pattern => "^\[" //以"["开头进行正则匹配 negate => true //正则匹配成功 what => "previous" //和前面的内容进行合并 } } } output { stdout { codec => rubydebug } } 配置文件 #vim /etc/logstash/conf.d/java.conf input { file { path => "/var/log/elasticsearch/cluster.log" type => "elk-java-log" start_position => "beginning" stat_interval => "2" codec => multiline { pattern => "^\[" negate => true what => "previous" } } } output { if [type] == "elk-java-log" { elasticsearch { hosts => ["192.168.1.31:9200"] index => "elk

一、使用LogStash 在项目中添加Gradle依赖，然后Sync项目： "net.logstash.logback:logstash-logback-encoder:4.11", 或者使用Maven： <!-- https://mvnrepository.com/artifact/net.logstash.logback/logstash-logback-encoder --> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>4.11</version> </dependency> 然后添加配置文件： <?xml version="1.0" encoding="UTF-8"?> <configuration> <contextName>${HOSTNAME}</contextName> <property name="LOG_PATH" value="/var/log" /> <springProperty scope="context" name="appName" source="spring.application.name" /> <springProperty scope="context"

一、说说前因后果 elasticsearch,kafka,zookeeper,kibana,elasticsearch-head,logstash，logstash是需要经常重启的，你上了点过滤规则或者修改点啥的，每次都尼玛杀进程，再nohup ，还看不到日志，这太不符合人性了，人性的优点之一就是懒惰。打开web 界面，点一下鼠标解决问题岂不是棒棒哒，还能通过web 界面看看后台日志，故而用supervisor托管 supervisor运行的系统：centos 7 supervisor version：3.3.4 二、安装 用easy_install 安装pip easy_install pip #之后通过pip 安装supervisor pip install supervisor #为supervisor创建工作目录与配置文件目录并且赋予该目录755 的权限； mkdir -m 755 -p /etc/supervisor/conf.d #通过supervisor 提供的 echo_supervisord_conf 命令生成默认配置文件 echo_supervisord_conf > /etc/supervisor/supervisord.conf #通过cat 命令查看配置文件是否生成； cat /etc/supervisor/supervisord.conf |grep