elk

单体应用或微服务的场景下，每个服务部署在不同的服务器上，需要对日志进行集重收集，然后统一查看所以日志。 ELK日志收集流程： 1.微服务器上部署Logstash,对日志文件进行数据采集，将采集到的数据传输到Elasticsearch集群中。（若数据过大或过多，可以先上传到缓存层，比如Kafka或Redis中） 2.Kibana读取Elasticsearch数据，提供Web展示页面。 下载链接地址 https://www.elastic.co/cn/downloads/ 来源： https://www.cnblogs.com/lick468/p/12021085.html

ELK搭建起来。采集日志，展示。但是这个架构还有一些问题。 可用性的问题 ，springboot的应用，随着业务的增长会越来越多。logstash压力就会越来越大。大到一定的程度可能就会吧logstash压崩掉，日志就丢失。 日志信息的传播分享 问题。走了ELK的架构，别的系统是不知道你写了什么日志的。比如说我有一个大数据实时分析的应用，spark之类的。他们需要实时的分析你在线的所有日志。比如说日志出现某个关键字的时候，我就报警，比如登陆日志发现有风险的用户登陆的时候，我要观察有风险的用户做了什么。 就是需要别的系统也知道整个应用这边发生的日志信息是什么。现在这个架构没法把日志信息传播出去提供给别人的。 中间价一个kafka。kafka是一个消息队列。我们所有的springboot的应用把日志发到kafka上。logstash从kafka读日志。就算你的日志再多，也指挥子在kafka这里堆积。logstash根据自己的处理能力，最大的处理能力有多少，一次就处理多少日志。这样引用不管怎么增长 都不会把kafka压死。kafka的性能好 吞吐量大。 有了kafka，日志在消息队列里面，有其他的应用，比如说在线分析或者是监控报警。我们可以接到kafka上去订阅那个日志的topic。其他系统也都能拿到日志的消息。他们就可以根据这些消息做其他的业务。这样日志处理的链路

具体的配置可以参考上面一篇： docker部署ELK 以下是做了一些修改的地方： kibana.yml [root@topcheer config]# cat kibana.yml server.host: "0.0.0.0" elasticsearch.url: http://elasticsearch01:9200 xpack: apm.ui.enabled: false graph.enabled: false ml.enabled: false monitoring.enabled: false reporting.enabled: false security.enabled: false grokdebugger.enabled: false searchprofiler.enabled: false [root@topcheer config]# logstash的conf [root@topcheer pipeline]# cat logstash-test.conf input { file { path => ["/usr/share/logstash/pipeline/logs/test.log"] start_position => "beginning" } } output { elasticsearch { hosts => [

es [program:elasticsearch] command = /srv/app/elk/elasticsearch/bin/elasticsearch autostart = true startsecs = 5 autorestart = true startretries = 3 user = elk redirect_stderr = true stdout_logfile_maxbytes = 20MB stdout_logfile_backups = 20 stdout_logfile = /srv/logs/supervisor/elasticsearch_super.log logstash [program:logstash] command = /srv/app/elk/logstash/bin/logstash -f /srv/app/elk/logstash/config/conf.d/top.conf autostart = true startsecs = 5 autorestart = true startretries = 3 user = elk redirect_stderr = true stdout_logfile_maxbytes = 20MB stdout_logfile_backups = 20 stdout_logfile

ELK日志套件安装与使用 1 、 ELK 介绍 ELK 不是一款软件，而是elasticsearch + Logstash+ kibana 三款开源软件组合而成的日志收集处理套件，堪称神器。其中Logstash负责日志收集，elasticsearch负责日志的搜索、统计，而 kibana 则是 ES 的展示神器，前端炫丽，点几下鼠标简单配置，就可以完成搜索、聚合功能，生成华丽的报表。 目前我们的日志方案： flume负责收集，服务写日志到文件，flume收集日志文件 flume汇总到数据通道kafka，供其他服务消费 日志搜索：从kafka读取日志写入到solr cloud提供搜索 日志统计：将kafka的日志写到hdfs，使用spark、hive来做统计 日志展示：开发的java-web，读取数据库生成统计报表 当前日志方案问题分析： 需要预先编程才能使用，开发工作量大 不够灵活，新需求需要改代码 离线统计，实时性不高 未提供基于搜索结果的统计功能 系统方案较为复杂，需要了解多项技术，学习维护成本高 …… 新增需求都是泪，开发出来后变动很少 通过调研 ELK ，发现真是解救目前问题的一个神器，大部分问题都可以迎刃而解。 2 、 ELK 安装 默认需要先安装jdk1.8，自行安装即可 安装教程： https://www.cnblogs.com/jxd283465/p

elasticsearch安装使用 elasticsearch是支持Linux和window系统的，elasticsearch官网上最新的稳定版本是6,2,4，该版本不支持jdk8以下的，所以需要在你的系统下安装好jdk 8 。 安装步骤： 1、下载elasticsearch的rpm包： wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-x86_64.rpm 2. 安装elasticsearch rpm install -y elasticsearch-7.4.2-x86_64.rpm 3. 启动 systemctl start elasticsearch 或者 /etc/init.d/elasticsearch start 4. 验证是否启动 运行 curl http://localhost:9200/ 在PowerShell运行 Invoke-RestMethod http://localhost:9200 5.配置elasticsearch [root@linux-node1 elasticsearch]# grep '^[a-Z]' /etc/elasticsearch/elasticsearch.yml cluster.name: elk-cluster1 #集群名称

前篇文章简单介绍了 Docker 部署ELK ，以及使用filebeat收集java日志。这篇我们介绍下日志报警配置，这里我们使用Sentinl插件。 1、修改kibana参数 进入elk容器，修改对应参数 [root@centos-mq ~]# docker exec -it elk /bin/bashroot@70f05fc990bd:/# vim /opt/kibana/config/kibana.ymlsentinl: settings: email: active: true　　 #ssl: true 　　　　　　## 云服务器时打开这注释，因为云服务器会禁用25端口 #port：465 user: *****@163.com　## 发件人 password: ****　　　　## 授权码(不是密码) host: smtp.163.com report: active: false 2、安装Sentinl插件 Sentinl版本要选择与kibana版本一致，否则会安装失败 root@70f05fc990bd:/# /opt/kibana/bin/kibana-plugin install https://github.com/sirensolutions/sentinl/releases/download/tag-6.6.0-0/sentinl-v6.6.0.zip

1、安装docker前安装pip sudo yum -y install epel-release sudo yum install python-pip 2、安装docker #安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 #添加docker yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo #可选操作：允许拓展最新的不稳定的repository yum-config-manager --enable docker-ce-edge #安装Docker yum -y install docker-ce #安装docker-compose sudo pip install -U docker-compose #启动Docker systemctl start docker 安装ELK: 1、下载镜像 这里我们使用elk集成镜像，地址： https://hub.docker.com/r/sebp/elk/tags [root@centos-mq ~]# docker pull sebp/elk:660 注：660为elk版本 2、启动 [root@centos-mq ~]

在分布式系统中，应用数量众多，应用调用链复杂，常常使用ELK作为日志收集、分析和展示的组件。本篇文章将讲讲解如何部署ELK，然后讲解如何 使用Filebeat采集Spring Boot的日志输出到Logstash上，logstash再将日志输出到Elasticsearch上，最后展示到kibana上面。整个日志采集流程如下图： 在传统的日志采集只会用ELK，那么为什么需要使用filebeat呢，因为 logstash是java应用，解析日志是非的消耗cpu和内存，logstash安装在应用部署的机器上显得非常的影响应用的性能。最常见的做法是用filebeat部署在应用的机器上，logstash单独部署，然后由 filebeat将日志输出给logstash解析，解析完由logstash再传给elasticsearch。 安装计划 本文主要讲解如何部署ElasticSearch 集群，部署的ElasticSearch的版本为7.2，计划用三台机器组成一个ElasticSearch集群，从而组成高可用，机器分配如下： | 节点 | 规则 | 数量 | | -------- | -----: | :----: | | 192.168.1.1 | 2核4G | 1 | | 192.168.1.2 | 2核4G | 1 | | 192.168.1.3 | 2核4G | 1 | 安装