logstash

1 安装java环境，要1.7及以上 a 直接yum install java b rpm或tar.gz方式安装 java -version 检查 2 下载三个组件 Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。 kibana 也是一个开源和免费的工具，Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 wget -c https://artifacts.elastic.co/downloads/logstash/logstash-5.4.3.tar.gz wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.tar.gz wget -c https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-linux-x86_64.tar.gz 下载在/home目录，解压，三个软件都可直接启动

1. ELK日志分析简介 1.1 ELK日志分析概述   ELK可运行于分布式系统之上，通过搜集、过滤、传输、储存，对海量系统和组件日志进行集中管理和准实时搜索、分析，使用搜索、监控、事件消息和报表等简单易用的功能，帮助运维人员进行线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、深度挖掘日志的大数据价值。ELK主要可解决的问题如下：1.日志查询，问题排查，上线检查.2.服务器监控，应用监控，错误报警，Bug管理. 3.性能分析，安全漏洞分析。综上，ELK是一套方便、易用的日志分析开源解决方案。 1.2 ELK主要组件介绍   生产环境中，ELK通常由以下4个组件构成： 1.2.1 ElasticSearch组件   ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 1.2.2 Logstash组件   Logstash是一个完全开源的工具

来源： oschina 链接： https://my.oschina.net/u/4297117/blog/3225401

在企业级项目中，如果需要完成数量级较大搜索服务，传统数据库搜索会显得力不从心，性能和速度达不到真实业务需求，一般我们都会使用全文检索技术来进行替代。 常见的全文检索技术有： Solr 、 Elasticsearch 等。 今天，小喵要说的是其中之一： Elasticsearch 一 . 概述 Elastic 官网 : http://www.elastic.co/cn/ Elastic 有一条完整的产品线： Elasticsearch 、 Kibana 、 Logstash 等，前面说的三个就是大家常说的 ELK 技术栈。 E lasticsearch 是一个基于 JSON 的分布式搜索和分析引擎。也就是数据的检索和分析。 L ogstash 是动态数据收集管道，拥有可扩展的插件生态系统。也就是数据的收集，处理和储存。 K ibana 可谓 Elastic Stack 的窗户。探索数据并管理堆栈。也就是数据的可视化 以上是官方介绍 ,简单来说: Elasticsearch ,分布式搜索和分析引擎; Logstash,数据的收集,处理和存储; Kibana,数据的可视化工具,用来辅助Elasticsearch. 二.Elasticsearch介绍 1.什么时候Elasticsearch ElasticSearch 是一个基于 Lucene 的搜索服务器，提供了一个分布式的全文搜索引擎。

日志是每个系统最为头疼的地方，杂乱，还多，没有还不行，想管理好的话，得经得起考验，要解决的问题总结如下： （1）高并发 （2）高吞吐量 （3）支持分布式集群 （4）检索要快 简介： 1.Zoomkeeper Kafka的通道 2. Kafka Kafka主要是解决大量日志的处理的分布式发布订阅消息系统，拥有高吞吐量，相比Redis而言，可能存在数据丢失的情况，速度更快，仅支持topic模式，更适合做日志系统 3.Logstash Logstash是一个写入工具，可以说是一个桥梁，实现将kafka的consumer端和Elasticsearch数据连通有很大作用，另外也可以将文件写入到Elasticsearch中，还可以将历史的日志也转存到Elasticsearch中，还是个多功能的工具，官方最新版本中已经默认支持了对Kafka和Elasticsearch的配置 4.Elasticsearch Elasticsearch是可以分布式集群部署的全文搜索引擎服务器（NoSQL数据存储），既拥有Lucene的全文检索功能，同时还能进行分布式储存，检索速度快，与Hadoop联合作数据分析，稳健性高，可以在一个集群宕机后，使用备用集群，一样可以工作，缺点：需要足够的内存和CPU资源 5.Kibana Kibana主要用于对Elasticsearch数据的展示和分析 方案：

一、windows下安装Filebeat 官网下载安装包 解压到指定目录，打开解压后的目录，打开filebeat.yml进行配置。 1、配置为输出到ElasticSearch ①：配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 。。eg：在当前目录下建一个data文件夹，里面放下载的示例文件（ 在Logstash那篇 ），人家应该是linux下的文件。 我这里将下载的日志文件 加了后缀.log ，放在data目录下 所以我的配置如下： - type: log # Change to true to enable this input configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: - E:\filebeat-6.6.2-windows-x86_64\data\logstash-tutorial.log\*.log #- c:\programdata\elasticsearch\logs\* ②：配置 enabled: true 这个配置很重要，只有配置为true之后配置才可生效，否则不起作用。 ③：配置Outputs ，这里的Outputs有elasticsearch，logstash

Kafka是啥？## 是个消息中间件吗？那和市面上其他一堆堆的中间件例如ActiveMQ, RabbitMQ有什么区别？ 答案只有一个： Kafka是个集群的消息中间件+存储，一个节点可以存储几T的数据！ 为啥一个中间件需要存储数据呢？ 慢慢道来…… 原来，对于Linkin这样的互联网企业来说，用户和网站上产生的 数据有三种 ： 需要实时响应的交易数据，用户提交一个表单，输入一段内容，这种数据最后是存放在关系数据库(Oracle, MySQL)中的，有些需要事务支持。 活动流数据，准实时的，例如页面访问量、用户行为、搜索情况，这些数据可以产生啥？广播、排序、个性化推荐、运营监控等。这种数据一般是前端服务器先写文件，然后通过批量的方式把文件倒到Hadoop这种大数据分析器里面慢慢整。 各个层面程序产生的日志，例如httpd的日志、tomcat的日志、其他各种程序产生的日志。码农专用，这种数据一个是用来监控报警，还有就是用来做分析。 Linkin的牛逼之处，就在于他们发现了原先2,3的数据处理方式有问题，对于2而言，原来动辄一两个钟头批处理一次的方式已经不行了，用户在一次购买完之后最好马上就能看到相关的推荐。而对于3而言，传统的syslog模式等也不好用，而且很多情况下2和3用的是同一批数据，只是数据消费者不一样。 这2种数据的特点是： 准实时，不需要秒级响应，分钟级别即可。

1.外面的电脑可以访问本机的虚拟机（共享虚拟机服务） iptables -t nat -A PREROUTING -i enp2s0 -d 172.40.5.1 -p tcp --dport 2222 -j DNAT --to 192.168.4.10:22（路由前iptables作目的地址转发） 2.虚拟机连接外网 1）关闭本机防火墙服务 systemctl stop firewalld.service 2）开启本机路由转发功能 sysctl -w net.ipv4.ip_forward=1 3）iptables作源地址伪装 iptables -t nat -A POSTROUTING -s 192.168.4.0/24 -o p8p1 -j MASQUERADE 4）在虚拟机里添加网关地址：route add default gw 192.168.4.254 3.brctl show 查看网桥 brctl addbr lo1 创建网桥 brctl delbr lo1 删除网桥 brctl addif lo1 连接网桥 brctl delif lo1 断开连接 一 。ansible介绍 1.自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 二。ansible特点

一直想找个elk写的好的还有和mysql持续集成的视频，一直没找到，自己分享下2019年自己学的吧。 https://www.imooc.com/learn/889 暂时看到的这个还行，精简一点。es搭建推荐大家搭集群，jvm内存参数修改下head安装的时候需要找个合适的，node记得安装。 码云笔记： https://gitee.com/hexiaoming123/elasticsearch 这个只是做个书签吧。后期找到好的再跟新到这篇文章上。 最后elastic中文社区： https://elasticsearch.cn/article/ 最后发现了个好东西，希望大家多去社区逛逛，由于时间问题，没法仔细研究es了，如果公司在用到再好好研究吧。 我码云上写的那种乱麻式的api接口终于可以不用了。可以像写sql一样写es的crud了。 es同步mysql数据 es同步mysql的数据关于删除的问题：可以给mysql定义个删除字段，如果es扫描到这个删除字段删除es中数据，每次增量同步当前时间小于数据库表中添加和修改的时间的数据，定时任务扫描es中删除字段为删除状态的数据，当es删除成功删除mysql数据库中数据。 复制了篇文章》---------------------------------没做验证注意，以下是文章内容,原文链接： https://blog.csdn.net/qq

系列教程 本教程为 利用ELK堆栈(Elasticsearch, Logstash与Kibana)在Ubuntu 14.04上实现集中式日志记录 系列五篇中的第四篇。 本教程亦为 在CentOS 7上利用Logstash与Kibana实现集中式日志记录 系列五篇中的第四篇。 内容介绍 Kibana 4是一套分析与可视化平台，构建于Elasticsearch之上，旨在帮助用户更好地实现数据理解。在本教程中，我们将从Kibana入手，探讨如何使用其界面对由ELasticsearch ELK堆栈收集到的日志消息进行过滤与可视化处理。我们将谈到多种主要界面组件，说明如何创建搜索、可视化与仪表板。 先决条件 这里我们假定大家已经拥有一套ELK设置，其能够收集各syslog与Nginx访问日志。 如果大家希望一步步按照本教程的指引进行，还需要首先完成以下设置： 负责收集syslog的ELK堆栈： 如何在Ubuntu 14.04上安装Elasticsearch、Logstash以及Kibana 4 Nginx负责访问日志与过滤机制： 添加过滤器以改进集中化日志记录机制 准备就绪后，让我们从Kibana界面开始入手。 Kibana界面概述 Kibana的界面被划分为四大主要部分： Discover（发现） Visualize（可视化） Dashboard（仪表板） Settings（设置）