Logstash基于Nginx的HA高可用架构
Logstash基于Nginx的HA高可用架构 应用场景 架构图 Nginx安装 Nginx配置 logstash配置 总结 应用场景 最近,在项目当中部署在客户端的logstash在采集日志的时候由于日志量过大,并且没有开启本地磁盘持久化操作,logstash限制了一部分filebeat的日志数据传输,导致数据有丢失的现象,为了能够更好的满足客户端采集收集日志的高可用需求,今天介绍下如何在客户端基于nginx做一个logstash的高可用。 架构图 简单介绍下架构图: 客户端安装多个filebeat对应用日志进行监控并发送给nginx ; nginx监听端口,转发请求给logstash ; logstash监听nginx转发的端口 ; logstash打开本地磁盘持久化配置 ; Nginx安装 yum install -y gcc-c++ #会自动安装依赖gcc 和更新(或安装)依赖 libgcc yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum -y install openssl openssl-devel cd /usr/local wget https://nginx.org/download/nginx-1.16.0.tar.gz tar -xvf nginx-1.16.0.tar.gz