logstash

　　参考：https://www.cnblogs.com/marility/p/9392645.html 　　1，安装环境及软件版本 程序　　 版本 安装方式 elasticsearch　 6.3.1 rpm kibana 6.3.1　 rpm java 1.8.0 tar 　　2，search guard安装 　　2.1在elasticsearch安装 cd /usr/share/elasticsearch/bin/ ./elasticsearch-plugin install com.floragunn:search-guard-6:6.3.1-24.0 　　安装的版本 查看 　 　　查看 　　进行demo模式安装 cd /usr/share/elasticsearch/plugins/search-guard-6/tools bash install_demo_configuration.sh 　　安说明输入3个y确认 　　重启elasticsearch systemctl restart elasticsearch 　　web访问测试安装是否成功 https://172.16.20.12:9200/_searchguard/authinfo 　　注意是https而不是http 　　输入默认用户名和密码admin 　　打印admin的json格式则代表安装成功 　

本章其实是ELK第二章的插入章节。 本章ES集群的多节点是docker启动在同一个虚拟机上 ===================================================================================== ELK系列的示例中，启动的是单个的ES节点。 系列文章： 【ELK】【docker】【elasticsearch】1. 使用Docker和Elasticsearch+ kibana 5.6.9 搭建全文本搜索引擎应用 集群,安装ik分词器 【ELK】【docker】【elasticsearch】2.使用elasticSearch+kibana+logstash+ik分词器+pinyin分词器+繁简体转化分词器 6.5.4 启动 ELK+logstash概念描述 【ELK】【ElasticSearch】3.es入门基本操作 【ELK】4.spring boot 2.X集成ES spring-data-ES 进行CRUD操作 完整版+kibana管理ES的index操作 【ELK】5.spring boot日志集成ELK，搭建日志系统 【ELK】【docker】6.Elasticsearch 集群启动多节点 + 解决ES节点集群状态为yellow 【ELK】7. elasticsearch linux上操作es命令详解 ===

前言 本篇文章主要介绍在两台机器上使用 Docker 搭建 ELK。 正文 环境 CentOS 7.7 系统 Docker version 19.03.8 docker-compose version 1.23.2 系统设置 vim 编辑 /etc/security/limits.conf ，在末尾加上： * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 vim 编辑 /etc/sysctl.conf ，在末尾加上： vm.max_map_count = 655360 执行 sysctl -p 命令是配置生效。 Elasticsearch 搭建 注意：如果用非 Docker 搭建，是不能用 root 用户去启动的。 由于我是用虚拟机搭建的，我的机器只能开两台，所以只有一个主节点和一个数据节点；在生产环境中最少要3台，防止脑裂问题。 注意：如果开启了防火墙，需要执行以下命令开放 9200 和 9300 端口号。 firewall-cmd --zone=public --add-port=9200/tcp --permanent firewall-cmd --zone=public --add-port=9300/tcp --permanent 主节点 首先设置主节点的配置文件

一、ELKStack的中文指南 　　redhat系列配置repo源 rpm --import https: // artifacts.elastic.co/GPG-KEY-elasticsearch vi /etc/ yum .repos.d/ logstash.repo [logstash - 5 .x] name =Elastic repository for 5 .x packages baseurl =https: // artifacts.elastic.co/packages/5.x/yum gpgcheck= 1 gpgkey =https: // artifacts.elastic.co/GPG-KEY-elasticsearch enabled= 1 autorefresh = 1 type =rpm-md 一、Elasticsearch 　　Elasticsearch 5.4 中文文档： http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364 　　 　　Elasticsearch 权威指南： https://fuxiaopang.gitbooks.io/learnelasticsearch/ 二、Logstash 最佳实践 　　Logstash 最佳实践： https://doc

例如：docker pull sebp/elk:5615 The following tags are available: latest , 720 : ELK 7.2.0. 711 (ELK version 7.1.1), 710 (7.1.0), 701 (7.0.1), 700 (7.0.0). 670 (ELK version 6.7.0), 662 (6.6.2), 661 (6.6.1), 660 (6.6.0), 651 (6.5.1), 650 (6.5.0), 643 (6.4.3), 642 (6.4.2), 641 (6.4.1), 640 (6.4.0), 632 (6.3.2), 631 (6.3.1), 630 (6.3.0), 624 (6.2.4), 623 (6.2.3), 622 (6.2.2), 621 (6.2.1), 620 (6.2.0), 613 (6.1.3), 612 (6.1.2), 611 (6.1.1), 610 (6.1.0), 601 (6.0.1), 600 (6.0.0). 5615 (ELK version 5.6.15), 568 (5.6.8), 564 (5.6.4), 563 (5.6.3), 562 (5.6.2), 561 (5.6.1), 560 (5.6.0), 553 (5.5.3), 552

背景 众所周知，Docker很火，Docker中Kubernetes（简称k8s）最火。h5棋牌源码(h5.hxforum.com)联系方式 17061863533 企鹅 2952777280相对物理机、VM，Docker提供了更加简单、轻量、高性价比的部署与运维方法；而k8s在Docker之上，更进一步提供了对管理基础设施的抽象，形成了真正意义上的一站式部署与运维方案。 k8s提供了强有力工作调度、水平扩展、健康监测、维护高可用性等能力，同时提供了网络、文件系统的抽象与管理，所以对于已有应用上k8s或者基于k8s部署应用十分便捷。但这里有一部分令开发和运维人员比较头疼–日志采集。 难点分析 基于VM或者物理机部署的应用，日志采集相关技术都比较完善，有比较健全的Logstash、Fluentd、FileBeats等。但在Docker中，尤其在k8s中，日志采集并没有很好的解决方案，主要原因如下： 1.采集目标多：需要采集宿主机日志、容器内日志、容器stdout。针对每种数据源都有对应的采集软件，但缺乏一站式解决方案。 2.弹性伸缩难：k8s是一个分布式的集群，服务、环境的弹性伸缩对于日志采集带来了很大的困难，采集的动态性以及数据完整性是非常大的挑战。 3.运维成本大：现有的方案只能使用多种软件组合采集，各个软件组装起来的系统稳定性难以保障，且缺乏中心化的管理、配置、监控手段

分布式日志收集系统 日志收集系统采用 elasticsearch+fluentd+kibana，用fluentd代替elk社区里的logstash，logstas的插件是最多的，同时logstash的性能和资源消耗太高，经*站大佬压力测试，在环境为2核4g的云计算服务器上，logstash写入qps极限为8000，通过结合易瑞现有询报价系统，同时也是用户3000+的项目产品，logstash负载压力显然承受不住，服务器资源消耗太严重，所以基于以上考虑采用新型日志收集产品fluentd来代替logstash，相应的技术资料为下图： 题外话 ：亚马逊云用的 fluentd,阿里云用的自研logtail，logtail是性能目前是最高的。 分布式日志系统架构图初步设计为 ： 系统环境： centos6 运行环境： jdk1.8, ruby2.0, fluentd2.3.5, elasticsearch1.7.1, kibana5.0.2 fluentd官方网站： http://www.fluentd.org/ fluentd插件下载地址：https://www.fluentd.org/plugins/all elasticsearch： https://www.elastic.co/products/elasticsearch kibana：https://www.elastic.co

一段时间没关注ELK（elasticsearch —— 搜索引擎，可用于存储、索引日志, logstash —— 可用于日志传输、转换，kibana —— WebUI，将日志可视化），发现最新版已到7.4了。所以别问程序员为什么这么忙？因为不是在加班就是在学习新框架中。 本文整理了使用Docker来快速搭建一套ELK日志分析系统的方法。 1. 部署elk github上有人整理了一套使用docker compose来部署elk的配置，可直接下载使用。 git clone https://github.com/deviantony/docker-elk.git 如果没有git，那就安装一下（ yum install git ），或者直接下载github仓库的源码包。 当前是基于7.2.1版（docker-elk目录下.env文件中定义，可修改）。 调整一下相应的配置。 修改docker-compose，设置es密码等， vim docker-compose.yml # 在elasticsearch部分设置环境变量，将jvm堆内存增大到了1g，设置es elastic用户的密码 environment: ES_JAVA_OPTS: "-Xmx1g -Xms1g" ELASTIC_PASSWORD: Passw0rd # 将logstash的端口映射从默认的5000改为5044

操作系统 win7 (当时想在linux下部署,虚拟内存过小，转而在windows下) 版本说明 elasticsearch-6.6.2 （elasticsearch-head-master插件） logstash-6.6.2 kibana-6.6.2-windows-x86_64 流程(最简单流程如下，后期可以让logstash 存在kafka redis中) logstash采集日志------->elasticsearch中<--------kibana读取数据在展显。 部署 本次测试为单机部署,主要目地测试功能的使用。本次下载的安装包为二进制 Elasticsearch是java程序，而且要跑在jdk1.8版本以上 安装Elasticsearch 修改Elasticsearch配置文件 D:\install\elk\elasticsearch-6.6.2\config\elasticsearch.yml cluster.name: mrice #配置集群名，两台服务器名保持一致 node.name: xgwang # 配置单一节点名称，每个节点唯一标识 path.data: D:\install\elk\elasticsearch-6.6.2\data # data存储路径 path.logs: D:\install\elk\elasticsearch-6.6.2\logs

一、elk 概念 ELK是 Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch ：实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能。Elasticsearch是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash ：用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana ：基于Web的可视化图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 二、docker 安装 elk 1、拉镜像，运行 docker pull sebp/elk docker run -d -it --name elk --restart always -p 5601:5601 -p 9200:9200 -p 5044