logstash

1、安装docker前安装pip sudo yum -y install epel-release sudo yum install python-pip 2、安装docker #安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 #添加docker yum源 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo #可选操作：允许拓展最新的不稳定的repository yum-config-manager --enable docker-ce-edge #安装Docker yum -y install docker-ce #安装docker-compose sudo pip install -U docker-compose #启动Docker systemctl start docker 安装ELK: 1、下载镜像 这里我们使用elk集成镜像，地址： https://hub.docker.com/r/sebp/elk/tags [root@centos-mq ~]# docker pull sebp/elk:660 注：660为elk版本 2、启动 [root@centos-mq ~]

常见的日志采集工具有Logstash、Filebeat、Fluentd、Logagent、rsyslog等等，那么他们之间有什么区别呢?什么情况下我们应该用哪一种工具? Logstash Logstash是一个开源数据收集引擎，具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来，并将数据标准化到你所选择的目的地。 优势 Logstash 主要的有点就是它的灵活性，主要因为它有很多插件，详细的文档以及直白的配置格式让它可以在多种场景下应用。我们基本上可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题是它的性能以及资源消耗(默认的堆大小是 1GB)。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。这里有 Logstash 与 rsyslog 性能对比以及Logstash 与 filebeat 的性能对比。它在大数据量的情况下会是个问题。 另一个问题是它目前不支持缓存，目前的典型替代方案是将 Redis 或 Kafka 作为中心缓冲池： 典型应用场景 因为 Logstash 自身的灵活性以及网络上丰富的资料，Logstash 适用于原型验证阶段使用，或者解析非常的复杂的时候。在不考虑服务器资源的情况下，如果服务器的性能足够好，我们也可以为每台服务器安装 Logstash 。我们也不需要使用缓冲

# # 基础命令是 unzip 解压在当前目录下 ，我以解压一个 logstash 的压缩包为例 unzip logstash-7.5.1.zip # # 解压到指定目录下 这个是常用的，可以看到下边的是加了一个参数 -d ，又加了一个指定的目录 unzip logstash-7.5.1.zip -d /opt/module/logstash/ # # 其他可选的参数还有哪些 -x 文件列表 解压缩文件，但不包括指定的file文件。 　　-v 查看压缩文件目录，但不解压。 　　-t 测试文件有无损坏，但不解压。 　　-d 目录 把压缩文件解到指定目录下。 　　-z 只显示压缩文件的注解。 　　-n 不覆盖已经存在的文件。 　　-o 覆盖已存在的文件且不要求用户确认。 　　-j 不重建文档的目录结构，把所有文件解压到同一目录下。 来源： CSDN 作者： 水的精神 链接： https://blog.csdn.net/star1210644725/article/details/103993021

一、为什么要用到 ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。 但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、 如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中 式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时， 大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据 分析－可以支持 UI 分析 警告－能够提供错误报告， 监控机制 ELK 提供了一整套解决方案，并且都是开源软件，之间互相配 合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。 二、ELK 介绍 ELK 是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。现在还有一个 FileBeat，它是一个轻量级的日志收集处理工具，Filebeat 占用资源少，适合于在各个服务 器上搜集日志后传输给

前提Logstash需要依赖elasticsearch，所以在安装Logstash之前先安装elasticsearch 官方地址 https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 指向当前版本 针对6.3版本 Logstash需要Java 8.不支持Java 9。 使用官方Oracle发行版或OpenJDK等开源发行版。 要检查Java版本，请运行以下命令： java -version 显示如下： java version "1.8.0_65" Java(TM) SE Runtime Environment (build 1.8.0_65-b17) Java HotSpot(TM) 64-Bit Server VM (build 25.65-b01, mixed mode) 在某些Linux系统上，您可能还需要在尝试安装之前导出JAVA_HOME环境，尤其是在您从tarball安装Java时。 这是因为Logstash在安装期间使用Java来自动检测您的环境并安装正确的启动方法（SysV init脚本，Upstart或systemd）。 如果Logstash在程序包安装期间无法找到JAVA_HOME环境变量，则可能会收到错误消息，并且Logstash将无法正常启动。 从软件包存储库安装