logstash

环境：(elasticsearch-5.1.2 elasticsearch-head logstash-5.1.2 kibana-5.1.2)+supervisor-3.3.1+centos 6.8 一、准备工作 yum -y install java-1.8.0-openjdk # 配置java环境变量，添加如下内容： vim /etc/profile export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin # 修改系统参数 vim /etc/security/limits.conf * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 vim /etc/security/limits.d/90-nproc.conf * soft nproc 2048 root soft nproc unlimited vim /etc/sysctl.conf vm.max_map_count

、 简介 1 .1 介绍 　　ELK是三个开源工具组成，简单解释如下： 　　Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 　　Logstash是一个完全开源的工具，它可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 1.2 场景分析 　　日志主要包括系统日志、应用程序日志和安全日志等等。运维人员和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 　　通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 　　集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询

Centos6.7 ELK日志系统部署 原文地址： http://www.cnblogs.com/caoguo/p/4991602.html 一. 环境 elk服务器：192.168.55.134 logstash日志采集端：192.168.55.132 二.安装JDK [root@elk01 ~]# cd /usr/local/src [root@elk01 src]# wget http://download.oracle.com/otn-pub/java/jdk/8u65-b17/jdk-8u65-linux-x64.tar.gz?AuthParam=1447919869_29a658de74feaeda612894dc77923aa4 [root@elk01 src]# tar zxvf jdk-8u65-linux-x64.tar.gz [root@elk01 src]# mv jdk1.8.0_65/ /usr/local/ [root@elk01 ~]# vi /etc/profile JAVA_HOME=/usr/local/jdk1.8.0_20 export JAVA_HOME PATH=$JAVA_HOME/bin:$PATH export PATH [root@elk01 ~]# source /etc/profile #检查下 三.redis安装 ####

ELK分布式框架作为现在大数据时代分析日志的常为大家使用。现在我们就记录下单机Centos7部署ELK的过程和遇到的问题。 　　系统要求：Centos7（内核3.5及以上，2核4G） 　　elk版本：6.2.4（较新版本） 　　jdk版本：1.8（必须为java1.8版本） 一、下载需要软件 　　 1、ELK下载地址 　　　　https://www.elastic.co/downloads/past-releases 　　 2、jdk下载地址 　　　　http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 　　 3、所需软件列表 　　　　#文件默认放到/opt目录下 　　　　jdk-8u131-linux-x64.tar.gz 　　　　elasticsearch-6.2.4.rpm 　　　　kibana-6.2.4-x86_64.rpm 　　　　logstash-6.2.4.rpm 二、 安装JAVA 　　 1、解压 　　　　tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/ 　　　　ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk 　　 2、配置环境 　　　　vim /etc

这篇博客讲的是elasticsearch+logstash+kibana部署的方法。 内容大纲： 1、elasticsearch+logstash+kibana部署 2、收集Tomcat日志 3、收集tcp日志 一、elasticsearch+logstash+kibana部署 1、elasticsearch部署 由于条件有限，这三个组件都装在同一台机器上面。 系统版本： elasticsearch-6.7.0、logstash-6.7.0、kibana-6.7.0-linux-x86_64 [root@openstack ~]# cd /usr/local/elasticsearch-6.7.0/ [root@openstack elasticsearch-6.7.0]# ls bin config lib LICENSE.txt logs modules NOTICE.txt plugins README.textile [root@openstack elasticsearch-6.7.0]# vim config/elasticsearch.yml [root@openstack elasticsearch-6.7.0]# grep '^[a-z]' config/elasticsearch.yml cluster.name: my-application node

软件包下载地址：https://www.elastic.co/downloads/elasticsearch 1 ，安装 es #tar zxvf elasticsearch-2.3.4.tar.gz #mv elasticsearch-2.3.4 /usr/local #Cd /usr/local #mv elasticsearch-2.3.4/ elasticsearch #chmod -R test:test ./elasticsearch/ #su test 更改配置文件config/elasticsearch.yml cluster.name: node236 network.host: 192.168.1.236 $ bin/elasticsearch //这里应该正常启动了 插件安装 $ ./plugin install mobz/elasticsearch-head -> Installing mobz/elasticsearch-head... Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ... Downloading .............................................................................

1、采用拓扑： 角色扮演： Agent:采用logstash，IP：192.168.10.7 Redis队列： IP：192.168.10.100 Indexer:logstash,IP：192.168.10.205 Es+kibana:放在192.168.10.100（大的日志环境可以单独存放） 说明：下面是一台日志服务器下面nginx的日志格式 log_format backend '$http_x_forwarded_for [$time_local] ' '"$host" "$request" $status $body_bytes_sent ' '"$http_referer" "$http_user_agent"' 1、192.168.10.7上面agnet的配置： [luohui@BJ-huasuan-h-web-07 ~]$ cat /home/luohui/logstash-5.0.0/etc/logstash-nginx.conf input { file { path => ["/home/data/logs/access.log"] type => "nginx_access" } } output { if [type] == "nginx_access"{ redis { host => ["192.168.10.100:6379"] data_type

ELK Stack (1) —— ELK + Redis安装 摘要 安装Elasticsearch、Logstash、Kibana与Redis以实现一个日志收集平台 版本 elasticsearch版本: elasticsearch-2.2.0 logstash版本: logstash-2.2.2 kibana版本: kibana-4.3.1-darwin-x64 jdk版本: jdk1.8.0_65 内容 目标架构 Logstash 社区通常习惯用 shipper，broker 和 indexer 来描述数据流中不同进程各自的角色。 broker一般选择redis。不过我见过很多运用场景里都没有用 logstash 作为 shipper（也是agent的概念），或者说没有用 elasticsearch 作为数据存储也就是说也没有 indexer。所以，我们其实不需要这些概念。只需要学好怎么使用和配置 logstash 进程，然后把它运用到你的日志管理架构中最合适它的位置就够了。 broker也可以使用kafka作为替代。 下载安装配置ELK Elasticsearch 下载 ⇒ wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-2.2.0.tar.gz ⇒ tar zxf

1.安装filebeat： [root@nginx ~]# vim /usr/local/filebeat/filebeat.yml [root@nginx ~]# tar xf filebeat-6.2.4-linux-x86_64.tar.gz [root@nginx ~]# mv filebeat-6.2.4-linux-x86_64 /usr/local/filebeat [root@nginx ~]# cp /usr/local/filebeat/filebeat.yml{,.default} 2.修改filebeat配置文件： filebeat.prospectors: - type: log paths: - /usr/local/nginx/logs/access.log - /usr/local/nginx/logs/error.log output.logstash: hosts: ["192.168.200.133:5044:"] 3.创建新的logstash配置文件： [root@Logstash ~]# vim /usr/local/logstash/config/web.conf input { beats { port => "5044" # 连接filebeat 的端口 } } filter { if [type] == "apache" { #

http://www.eryajf.net/2362.html 转载于 本文预计阅读时间 28 分钟 文章目录[隐藏] 1，nginx日志json化。 2，发送端配置。 3，接收端配置。 4，配置logstash。 5，简单使用kibana。 现在有好几台主机的nginx日志想要监控分析一下，那么，如何让远程主机的日志都乖乖的来到elk主机之上呢，这是一个需要考虑的问题，而这里，我就使用rsyslog来完成。 这种方式貌似针对于远程主机上只有单项日志的情况，就像我们现在做的，只处理nginx的访问日志一般的，如果还有更多的日志需要从远程转发到elk集群中，就需要用其他方式了，或者说我只会配置这么一种，更复杂的，目前还玩不转。后来哈，在当我测试rsyslog转发多个日志的时候，发现，里边配置规则过于复杂，分类方面也非常不给力，就此打住，一旦多个日志，直接用filebeat即可。 现在，废话不多说，直接进入正题。 目前的思路，可以通过下图了解： 说明： 图中举例了两台nginx，其实可以有更多台nginx日志可以想后方转发。 双方以rsyslog作为桥梁，从而实现日志的中转运输。其中nginx主机上是发送端，elk主机上是接收端。 针对不同的nginx日志，可以启动不同的logstash实例，然后将日志转发给es。 由es，统一将日志转给kibana。