logstash

ELK架构日志处理逻辑： 1、业务层Filebeat安装时会自动获取主机运行站点域名及环境信息新增channel及env标签，并将channel的值作为kafka的topic信息 2、Kafka收到Filebeat的新增字段及Topic信息，自动创建Topic信息，以等待logstash消费 3、Logstash根据脚本自动生成input及output配置 这里的topic一定和filebeat的channel一致。 示范： filebeat层： - type: log processors: - add_fields: fields: env: "prod" ## ansible调用Python根据网段信息自动判断生成 ip: "10.12.11.27" ## ansible调用Python根据网段信息自动判断生成 apptype: "service" ## ansible调用Python根据域名自动判断生成 channel: "cms.prod.tarscorp.com" ##ansible调用Python根据站点目录生成 enabled: true paths: - /data1/logs/cms.prod.tarscorp.com/*.log output.kafka: codec.json: pretty: true escape_html: false hosts: [

目录 ELKB是什么 搭建ELKB系统 搭建过程中需要注意的问题 ELKB是什么 ELKB是目前比较流行的日志系统解决方案，是通过一套组件集合成的解决方案。这套组件分别为ElasticSearch，LogStash，Kibana，FileBeat。 各组件的作用如下： ElasticSearch（简称es）：基于Apache Lucene构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。 LogStatsh：数据收集额外处理和数据引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置。 Kibanna：数据分析和可视化平台。通常与ElasticSearch配合使用，对其中数据进行搜索、分析和以统计图表的方式展示。 FileBeat：在需要采集日志数据的server上安装Filebeat，指定日志目录或日志文件后，Filebeat就能读取数据，发送到Logstash进行解析，也可以选择直接发送到ElasticSearch进行集中式存储和分析。 其中FileBeat只是Beat系列中常用的一种，其余的beat还有Packetbeat（搜集网络流量数据）；Topbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）；Filebeat（搜集文件数据）；Winlogbeat（搜集 Windows 事件日志数据）

这个是最新的elk+redis搭建日志分析平台，今年时间是2015年9月11日。 Elk分别为 elasticsearch，logstash， kibana 官网为： https://www.elastic.co/products Elasticsearch: https://www.elastic.co/downloads/elasticsearch https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz logstash: https://www.elastic.co/downloads/logstash https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz kibana: https://www.elastic.co/products/kibana https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz 先说一下规划 192.168.15.62为日志查看服务器，该机器需要安装redis, elasticserch, logstatsh, kibana这四个应用程序。 192.168.15.2

一、概述 ELK官网 https://www.elastic.co ELK由Elasticsearch、Logstash和Kibana三部分组件组成； Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 常见平台架构 ELK = Elasticsearch + Logstash + Kibana EFK = Elasticsearch + Flume + Kibana 简单架构： ELK+Redis 或 (Logstash/Flume)->(Kafka/Redis)->ES->Web 可更简单些： Client(Filebeat) --> LogServer(Logstash-->Elasticsearch-->Kibana ) （可以不用Logstash,Filebeat直接输出到ES） 复杂架构： 数据采集层[离线/实时数据,MySQL/ES/Logstash/Flume] ->数据传输层[Kafka

#安装elasticsearch-5.3.1.tar.gz(单节点安装) tar xf elasticsearch-5.3.1.tar.gz cd elasticsearch-5.3.1 vim config/elasticsearch.yml #修改配置文件 path.data: /data/elas/data #数据目录 path.logs: /data/elas/logs network.host: 0.0.0.0 #允许哪个IP访问 http.port: 9200 修改系统参数以确保系统有足够资源启动ES 设置内核参数 vim /etc/sysctl.conf # 增加以下参数 vm.max_map_count=655360 执行以下命令，确保生效配置生效： sysctl -p 设置资源参数 vim /etc/security/limits.conf # 修改 * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 设置用户资源参数 vim /etc/security/limits.d/20-nproc.conf elk soft nproc 65536 # 设置elk用户参数 添加启动用户，设置权限 启动ElasticSearch5版本要非root用户

#安装elasticsearch-5.3.1.tar.gz(单节点安装) tar xf elasticsearch-5.3.1.tar.gz cd elasticsearch-5.3.1 vim config/elasticsearch.yml #修改配置文件 path.data: /data/elas/data #数据目录 path.logs: /data/elas/logs network.host: 0.0.0.0 #允许哪个IP访问 http.port: 9200 修改系统参数以确保系统有足够资源启动ES 设置内核参数 vim /etc/sysctl.conf # 增加以下参数 vm.max_map_count=655360 执行以下命令，确保生效配置生效： sysctl -p 设置资源参数 vim /etc/security/limits.conf # 修改 * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 设置用户资源参数 vim /etc/security/limits.d/20-nproc.conf elk soft nproc 65536 # 设置elk用户参数 添加启动用户，设置权限 启动ElasticSearch5版本要非root用户

原文: 将日志输出到Docker容器外 1.1 使用 Docker 容器日志 我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志，可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备（STDOUT），一旦 STDOUT 有数据产生，就会将这些数据传输到另一个“设备”中，该 Docker 的被称为“日志驱动（Logging Driver）” 1.2 Docker 日志驱动 例如，我们有一个容器实例 ID 为 “da6743d61e1a” ，随后我们使用 docker logs 命令，查看 da6743d61e1a 容器的日志 docker logs -f da6743d61e1a 此时，Docker 日志也在同步输出，输出的日志类似下面这样。 . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_

本篇文章为系列文章，未读前几集的同学请猛戳这里： Spring Cloud 系列之 Sleuth 链路追踪（一） Spring Cloud 系列之 Sleuth 链路追踪（二） 本篇文章讲解 Sleuth 如何使用 Elasticsearch、Logstash、Kibana 分析追踪数据。 　　 使用 ELK 分析追踪数据 　　 　　点击链接观看： ELK 环境准备视频 （获取更多请关注公众号「哈喽沃德先生」） 　　 　　 ELK 是 elastic 公司提供的 一套完整的日志收集以及展示的解决方案 ，是三个产品的首字母缩写，分别是 Elasticsearch、Logstash 和 Kibana。 Elasticsearch 简称 ES ：实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。 Logstash ：具有实时传输能力的数据收集引擎，将各种各样的数据进行收集、解析，并发送给 ES。使用 Ruby 语言编写。 Kibana ：为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。 Beats ：一组轻量级采集程序的统称，使用 Go 语言编写。以下是 elastic

网上已经有很多例子了，自己也做个记录加深印象，过程如下。 1.分别下载安装elasticsearch-6.3.1 、logstath、kibana https://www.elastic.co/cn/downloads/elasticsearch https://www.elastic.co/cn/downloads/logstash https://www.elastic.co/cn/downloads/kibana 2.配置logstash并启动 在C:\ProgramFiles\logstash-6.3.1\bin目录下创建：logstash.conf文件 内容如下： input{ file{ path => "C:\home\nsts\logs\sys-info.2019-06-24.log" type => "nstslog" start_position => beginning } } filter{ grok{ match => { "message" => "%{COMBINEDAPACHELOG}" } } } output{ elasticsearch{ hosts => ["127.0.0.1:9200"] index => "test_system_log" codec => json } stdout{ codec => rubydebug } }

我是用ElasticSearch的版本是 elasticsearch-6.3.1 mysql的数据是5.7的,其实这个关系不大。 logstash版本是 6.3.1 ElasticSearch的插件 elasticsearch-head-master ，现在加压好了，直接放在ElasticSearch目录下面就好了，这不强制。 这个是mysql的数据库连接驱动程序 mysql--connector-java-5.1.18.zip 因为使用了ElasticSearch这个插件所以还需要安装 nondjs ，因为需要用的npm 1：先启动ElasticSearch 安装ElasticSearch的插件，直接双击/bin/ElasticSearch.bat ，启动成功后：http://127.0.0.1:9200/ 2:安装，启动ElasticSearch插件 运行head需要借助grunt命令，因此需要安装grunt。所以先要安装nodejs，双加exe就可以了。然后cmd命令，node -v，如果出现版本号，说明安装成功。 然后安装grunt，npm install -g grunt -cli ，如果在不行，就cd到nodejs的安装目录下执行这个命令。 grunt安装好了之后，在cd到你解压好的 elasticsearch-head-master 这个目录下面