elk

ELK实战： https://blog.csdn.net/beyond_qjm/article/details/81943187 一、下载 https://www.elastic.co/downloads/past-releases https://artifacts.elastic.co/downloads/logstash/logstash-6.2.3.tar.gz 二、创建新用户 useradd elk passwd elk 三、解压安装 安装目录 /home/elk tar -xvf logstash-6.2.3.tar.gz 四、运行参数 五、基础配置 添加配置文件 /home/elk/logstash-6.2.3/bin/config/log4j.cfg input { # 读取数据配置 file { path => ["/home/elk/log4j.log"] #读取文件 type => “eslog" # 类型 start_position => "beginning" # 从文件开始读取 } } output { #输出 stdout{ } } filter grok测试： http://grokdebug.herokuapp.com/ 六、启动 cd /home/elk/logstash-6.2.3/bin ./bin/logstash -f ./bin

filebeat安装使用 1. 下载一个filebeat的压缩包 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.1-linux-x86_64.tar.gz 2. 安装（就是把压缩包解压到随便一个目录） tar xf filebeat-6.3.1-linux-x86_64.tar.gz mkdir /home/elk mv filebeat-6.3.1-linux-x86_64 /home/elk/filebeat 3启动和关闭 启动：nohup /home/elk/filebeat/filebeat -c /home/elk/filebeat/filebeat.yml 第一个为filebeat安装程序，第二个是给filebeat准备的配置文件 可以有几个配置文件，同时运行几个 查看进程：ps aux |grep filebeat 关闭：kill -9 上述的进程号 4 filebeat常用配置文件 https://blog.csdn.net/xushiyu1996818/article/details/84029395 logstash安装使用 1. 下载一个logstash的压缩包 wget https://artifacts.elastic.co/downloads

概述 日志系统ELK使用详解(一)–如何使用 日志系统ELK使用详解(二)–Logstash安装和使用 日志系统ELK使用详解(三)–elasticsearch安装 日志系统ELK使用详解(四)–kibana安装和使用 日志系统ELK使用详解(五)–补充 在开始之前先说一下Logstash的使用和熟悉路线图。接触ELK的时候不能图快，可以尝试着一部分一部分的安装起来熟悉，之后再逐个组装到一起，看效果。 Logstash的独立性很高，熟悉路线可以按照这样来： 1.最基本的就是接收控制台输入，然后解析输出到控制台。 2.从文件读入，解析输出到控制台。 3.从文件读入，解析输出到elasticsearch。 4.实际应用中需要打通的关节。 接下来一起看一下Logstash，这个系列使用的版本（Logstash5.3.0）下载地址是： https://www.elastic.co/cn/downloads 安装 1.安装JDK 1.8.0_65 2.下载logstash5.3.0 3.解压logstash 控制台—》控制台 1.在…/logstash-5.3.0/bin/目录中新建一个文件std_std.conf文件 2.录入如下内容： input { stdin{ } } output { stdout{ } } 3.在bin目录执行命令：./logstash -f std_std

关于系统日志收集处理方案，其实有很多种，因为之前使用ES比较多，所以也认为ELK是一个不错的解决方案，ELK(Elasticsearch + Logstash + Kibana)来管理日志。Logstash是一个具有实时渠道能力的数据收集引擎,但和fluentd相比，它在效能上表现略逊一筹，故而逐渐被fluentd取代，ELK也随之变成EFK。 EFK由ElasticSearch、Fluentd和Kiabana三个开源工具组成。其中Elasticsearch是一款分布式搜索引擎，能够用于日志的检索，Fluentd是一个实时开源的数据收集器,而Kibana 是一款能够为Elasticsearch 提供分析和可视化的 Web 平台。这三款开源工具的组合为日志数据提供了分布式的实时搜集与分析的监控系统。 为了更好的了解EFK的架构，首先，我们先理解下ELK架构。在此之前， 我们需要清楚如下几个概念： Log Source：日志来源。在微服务中，我们的日志主要来源于日志文件和Docker容器，日志文件包括服务器log，例如Nginx access log（记录了哪些用户，哪些页面以及用户浏览器、ip和其他的访问信息）, error log(记录服务器错误日志)等。 Logstash：数据收集处理引擎，可用于传输docker各个容器中的日志给EK。支持动态的从各种数据源搜集数据

这篇文章主要是将之前部署的ELK改为docker部署，都使用5.6的镜像，因为最新的elk镜像改地址了，国内一直拉不下来 非Docker部署ELK： https://blog.csdn.net/fuckluy/article/details/80430732 1、先安装Compose $ sudo chmod +x /usr/local/bin/docker-compose 测试是否安装成功： $ docker-compose --version 2、创建相应的目录 3、进入相应的目录编写配置文件 vim logstash.conf 输入以下内容： input { } filter { } output { } 4、返回elk目录编写docker-compose.yml文件 在yml文件中输入以下内容： version: '2' services: networks: 然后保存退出，并在该路径下使用下面的命令运行该docker-compose.yml文件 至此，完成 文章来源: 使用Docker部署ELK

将es包上传至linux服务器后 vi /etc/security/limits.conf 在文件最后添加 * soft nproc 65536 * hard nproc 65536 * soft nofile 65536 * hard nofile 65536 创建运行ELK的用户 [root@localhost local]# groupadd elk [root@localhost local]# useradd -g elk elk 创建elk运行的目录 [root@localhost local]# mkdir /elk [root@localhost local]# chown -R elk:elk /elk CentOS 7.0默认使用的是firewall作为防火墙,关闭防火墙 接下来继续修改配置 vi /etc/sysctl.conf vm.max_map_count=655360 至此配置修改完毕,su elk切换至elk用户 tar -xzvf 解压es包 如果此时显示elk用户没有权限 则chown -R elk:elk /es包名 解压完成后修改es的配置 vi elasticsearch.yml 将下面这几个地方的注释打开并修改 cluster.name: my-application node.name: node-1 path.data: /usr

1、docker安装elk 镜像：sebp/elk 挂出的端口：5044，5601，9200，9300 2、进入容器，安装sentinl插件 进入kibana安装目录：/etc/kibana/bin ，执行： ./kibana-plugin install https://github.com/sirensolutions/sentinl/releases/download/tag-6.2.3-3/sentinl-v6.2.4.zip 安装完成后重启elk容器 3、获取钉钉报警机器人的webhook链接 在sentinl里面加一个watcher： Input填入： { "search": { "request": { "index": [ "*" ], "body": { "query": { "bool": { "must": [ { "query_string": { "analyze_wildcard": true, "query": "\"error\"" } }, { "range": { "@timestamp": { "gte": "now-10m", "lte": "now", "format": "epoch_millis" } } } ], "must_not": [] } } } } } } condition填入： { "script": { "script

1.elasticsearch的版本区别 配置文件*.yaml在2.x与5.x的区别是5.x的配置文件中不能有index开头的配置信 2.logstash的多实例化 5.x的版本一个logstash只能启动一个实例 文章来源: ELK

1.下载redis安装包到 /usr/local/soft/elk [root@VM_0_9_centos ~]# cd /ryt/soft/elk [root@VM_0_9_centos elk]# wget http://download.redis.io/releases/redis-5.0.5.tar.gz 2.解压安装包 [root@VM_0_9_centos elk]# tar zxvf redis-5.0.5.tar.gz 3.移动安装包至 /usr/local 下，并修改文件夹名为 redis [root@VM_0_9_centos elk]# mv redis-5.0.5 /usr/local/redis 4.安装redis [root@VM_0_9_centos elk]# cd /usr/local/redis [root@VM_0_9_centos redis]# make MALLOC=lobc && make install 5.修改redis配置文件 [root@VM_0_9_centos redis]# vim ./redis.conf #修改内容如下： daemonize yes #开启后台运行 timeout 120 #超时时间 bind 0.0.0.0 #任何地址IP都可以登录redis protected-mode no

elk 为 elasticsearch（查询搜索引擎）,logstash（对日志进行分析和过滤，然后转发给elasticsearch）,kibana(一个web图形界面用于可视化elasticsearch数据)缩写 1.安装docker环境 2. 准备镜像 拉取 elk镜像，我们用sebp/elk docker pull sebp/elk, 3. 启动容器 docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk -d -p 端口映射，5601为kibana 使用，9200为elasticsearch使用，5044为logstash使用 -d 守护进程运行容器 在浏览器输入hostip:5601 正常情况下会显示界面，但是没有日志，因为还没有收集日志信息,我们要做的是将docker的日志导入elk. 4.安装filebeat 我们知道docker 会将容器日志记录到 /var/lib/docker/containers/id/id-json.log 只要将此文件发给elk就可以实现日志管理，elk提供了一个配套工具filebeat,转发日志和监控日志文件 wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6