logstash

转载：棕先生 =============================================== 2017/12/24_第3次修改 ccb_warlock 更新说明： 1.2017/12/24：补全部署内容 2.2017/12/25：修改部署存在的问题，修改描述不合理的内容 =============================================== ELK（elasticsearch、logstash、kibana）可以作为日志收集及分析的一整套系统，通过阿里的普及也有越来越多的公司在使用，使用下来功能还可以，这里整理记录一个部署手册。 为了方便，将ELK都部署在一台os里。 一、环境准备 操作系统：centos7（CentOS-7-x86_64-Minimal-1708） CPU：1核 内存：4G 可以在你的windows上安装Bitvise SSH Client远程执行命令行和传输文件。 1.1 安装vim、wget yum install -y vim wget 二、安装Java环境 根据官方的描述， Elasticsearch要求是java8以上。 Logstash要求是Java 8，不支持Java 9。 官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8

elasticsearch启动步骤 下载地址 https://www.elastic.co/downloads elk日志分析系统所需软件 1.背景 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果需要管理数十上百台服务器，必须依次登录每台机器的传统方法查阅日志，这样很繁琐和效率低下。当务之急是使用集中化的日志管理，开源实时日志分析ELK平台能够完美的解决上述所提到的问题。 2.工具 ELK由ElasticSearch（ES）、Logstash和Kiabana三个开源工具组成。 ES是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，可以对日志进行收集、分析、并将其存储供以后使用。 kibana也是一个开源和免费的工具，他Kibana可以为Logstash和ES提供的日志分析友好的Web界面，可以帮助您汇总、分析和搜索重要数据日志。 可以在ELK官网 https://www.elastic.co/下载最新版本的工具安装包

ElasticSearch + Logstash + kibana 1、介绍： 　　Logstash：搬运工 　　ElasticSearch：搜索引擎 　　Kilbana：可视化系统 　　 ElasticSearch是基于lucene的搜索框架，它提供了一个分布式多用户能力的全文搜索引擎。 　　基于restful web接口 　　上手容易，拓展节点方便。 　　可用于存储和检索海量数据，接近时实检索，海量数据量增加，搜索性能几乎不受影响。 　　分布式搜索框架，副本机制，自动发现节点，保障可用性。 阿里云服务器 快速安装 ElasticSearch 简介：阿里云 ecs 介绍 ,wget 命令下载安装包 , 快速部署 elasticSearch 节点 linux 下使用 wget 下载 jdk8: 进到目录 /usr/local/software 　　wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15

推荐步骤： 安装elasticsearch elasticsearch-head图形化管理ELK工具 安装elasticsearch-head 安装logstash 安装kibana 客户端验证配置 配置监控客户端 实验环境：三台linux服务器，一台win7火狐客户端 给两台虚拟机分别添加一块NAT网卡 配置ELK 1.安装elasticsearch 导入公钥 [root@centos01 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 2)导入elasticsearch程序到Linux系统安装程序 使用rz命令上传elasticsearch-5.6.16.rpm 软件包 [root@centos01 ~]#yum -y install local elasticsearch-5.6.16.rpm 3)修改elasticsearch，备份主配置文件 [root@centos01~]#cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak [root@centos01 ~]# vim /etc/elasticsearch/elasticsearch.yml cluster.name: ELK

架构目标 说明 系统： CentOS Linux release 7.5.1804 ELK版本： filebeat-6.8.5-x86_64.rpm, logstash-6.8.5.rpm, elasticsearch-6.8.5.rpm, kibana-6.8.5-x86_64.rpm kafka_2.11-2.0.0 zookeeper-3.4.12 地址 名称 功能, 按图左至右 192.168.9.133 test1.xiong.com nginx + 虚拟主机 + filebeat 192.168.9.134 test2.xiong.com nginx + 虚拟主机 + filebeat 192.168.9.135 test3.xiong.com elasticsearch + kibana + logstash 192.168.9.136 test4.xiong.com elasticsearch + kibana + logstash 192.168.9.137 test5.xiong.com redis + logstash (这里使用kafka) 192.168.9.138 test6.xiong.com redis + logstash (这里使用kafka) 实践并不需要这么多 准备4台即可 1、配置 1.1、主机名 ~]# cat /etc/hosts

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Elk集群安装+配置（Elasticsearch+Logstash+Filebeat+Kafka+zookeeper+Kibana） 一、部署环境 基础环境： 软件 版本 作用 Linux Centos7.1， 16g Jdk 1.8.0_151 Elasticsearch 5.5.0 数据持久化，存储数据 Logstash 5.5.0 数据过滤/处理，从kafka中接收日志，转发到es中 Kibana 5.5.0 数据可视化 Filebeat 5.5.0 数据采集,在各个服务器上收集日志，输出到kafka中 Kafka 2.11-0.10.2.1 数据缓存，避免因logstash服务挂掉造成的日志丢失 Zookeeper 3.4.10 与kafka 配套使用，协调管理kafka代理 2.机器环境：elk服务器4台,业务服务器65台 NODE IP 节点类型 es1 X.X.X.109 数据/主节点(安装es、logstash、kafka、zookeeper) es2 X.X.X.108 数据/主节点(安装es、logstash、kafka、zookeeper) es3 X.X.X.105 数据/主节点(安装es、logstash、kafka、zookeeper) es4 X.X.X.100 搜索节点(安装es

[ ] 在进行日志收集的过程中，我们首先想到的是使用Logstash，因为它是ELK stack中的重要成员，但是在测试过程中发现，Logstash是基于JDK的，在没有产生日志的情况单纯启动Logstash就大概要消耗500M内存，在每个Pod中都启动一个日志收集组件的情况下，使用logstash有点浪费系统资源，经人推荐我们选择使用Filebeat替代，经测试单独启动Filebeat容器大约会消耗12M内存，比起logstash相当轻量级。 方案选择 Kubernetes官方提供了EFK的日志收集解决方案，但是这种方案并不适合所有的业务场景，它本身就有一些局限性，例如： 所有日志都必须是out前台输出，真实业务场景中无法保证所有日志都在前台输出 只能有一个日志输出文件，而真实业务场景中往往有多个日志输出文件 Fluentd并不是常用的日志收集工具，我们更习惯用logstash，现使用filebeat替代 我们已经有自己的ELK集群且有专人维护，没有必要再在kubernetes上做一个日志收集服务 基于以上几个原因，我们决定使用自己的ELK集群。 Kubernetes集群中的日志收集解决方案 编号 方案 优点 缺点 1 每个app的镜像中都集成日志收集组件 部署方便，kubernetes的yaml文件无须特别配置，可以为每个app自定义日志收集配置 强耦合

简介 日志服务器 提高安全性 集中存放日志 缺陷：对日志的分析困难 ELK日志分析系统 Elasticsearch：存储，索引池 Logstash：日志收集器 Kibana：数据可视化 日志处理步骤 1，将日志进行集中化管理 2，将日志格式化（Logstash）并输出到Elasticsearch 3，对格式化后的数据进行索引和存储（Elasticsearch） 4，前端数据的展示（Kibana） Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索引擎 Elasticsearch的概念 接近实时 集群 节点 索引：索引(库)-->类型(表)-->文档(记录) 分片和副本 Logstash介绍 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤，改写等)以及数据输出 LogStash主要组件 Shipper Indexer Broker Search and Storage Web Interface Kibana介绍 一个针对Elasticsearch的开源分析及可视化平台 搜索、查看存储在Elasticsearch索引中的数据 通过各种图表进行高级数据分析及展示 Kibana主要功能 Elasticsearch无缝之集成 整合数据，复杂数据分析 让更多团队成员受益 接口灵活，分享更容易 配置简单，可视化多数据源

一.elk套件介绍 ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站： https://www.elastic.co/products Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索）。 kibana 也是一个开源和免费的工具，他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 工作原理如下如所示： **客户端的logstash从日志里取出数据推送到服务端的redis里，服务端的logstash从redis里取出推送到elasticsearch，elasticsearch进行分析，kibana来展示 注：安装全部使用rpm安装，方便管理 二、服务端安装过程 1.安装依赖JDK 版本：jre-8u91-linux-x64.rpm # rpm -ivh jre-8u91-linux-x64.rpm Preparing... #######################################

一、ELK 日志分析系统简介： 日志服务器： 提高安全性； 集中存放日志； 缺陷：对日志的分析困难 ELK日志处理步骤： 将日志进行集中格式化； 将日志格式化（logstash）并输出到 Elasticsearch； 对格式化后的数据进行索引和存储（Elasticsearch）； 前端数据的展示（Kibana） 二、搭建 ELK 日志分析系统： 第一步：先配置 elasticsearch 环境 （1）修改两台主机名，分别是：node1 和 node2 （2）修改 hosts 文件： vim /etc/hosts 添加以下主机名和主机IP地址（两台node都需要）： 192.168.220.129 node1 192.168.220.130 node2 （3）防火墙都关闭 systemctl stop firewalld.service setenforce 0 第二步：部署安装 elasticsearch 软件（两台节点都需要） （1）安装： rpm -ivh elasticsearch-5.5.0.rpm //安装 systemctl daemon-reload //重新加载服务配置文件 systemctl enable elasticsearch.service //设置为开机自启动 cp /etc/elasticsearch/elasticsearch.yml /etc