kibana

使用docker-elk搭建并实践ELK日志分析框架

由 我的未来我决定 提交于 2021-02-15 03:52:51
点击上方 蓝色字体 ，选择“标星公众号” 优质文章，第一时间送达 作者 | reddevil_zs 来源 | urlify.cn/3mYfuq 66套java从入门到精通实战课程分享 1. ELK日志分析简介 1.1 ELK日志分析概述   ELK可运行于分布式系统之上，通过搜集、过滤、传输、储存，对海量系统和组件日志进行集中管理和准实时搜索、分析，使用搜索、监控、事件消息和报表等简单易用的功能，帮助运维人员进行线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、深度挖掘日志的大数据价值。ELK主要可解决的问题如下：1.日志查询，问题排查，上线检查.2.服务器监控，应用监控，错误报警，Bug管理. 3.性能分析，安全漏洞分析。综上，ELK是一套方便、易用的日志分析开源解决方案。 1.2 ELK主要组件介绍   生产环境中，ELK通常由以下4个组件构成： 1.2.1 ElasticSearch组件   ElasticSearch是一个基于Lucene的开源分布式搜索服务器。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的

docker：搭建ELK 开源日志分析系统

由 不羁岁月 提交于 2021-02-15 03:37:49
ELK 是由三部分组成的一套日志分析系统， Elasticsearch: 基于json分析搜索引擎,Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片， 索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash: 动态数据收集管道,Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用 Kibana: 可视化视图,将elasticsearh所收集的data通过视图展现。kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 一、使用docker集成镜像 安装docker elk集成镜像包 名字是 sebp/elk 1.安装 docke、启动 yum install docke service docker start 2.下载 sebp/elk docker pull sebp/elk 无法下载、报错 ： unauthorized: authentication required 这是国外网络的问题 解决1 用网易镜像 vim /etc/docker/daemon.json 这个json文件不存在的，不需要担心，直接编辑 把下面的贴进去，保存，重启即可

Elastic search filter based on array of object

由 人盡茶涼 提交于 2021-02-11 18:23:29
问题 Below is mapping which i have { "defaultBoostValue":1.01, "boostDetails": [ { "Type": "Type1", "value": 1.0001 }, { "Type": "Type2", "value": 1.002 }, { "Type": "Type3", "value": 1.0005 } ] } I want to apply boost type based on type , so if boostType is Type3 then boostFactor should be 1.0005, and if it does not have that boostType, it should apply "defaultBoostValue" as boost below is the query which i have tried { "query": { "function_score": { "boost_mode": "multiply", "functions": [ {

Kibana index pattern don't show data with time filter field name

由 血红的双手。 提交于 2021-02-11 14:21:58
问题 i am trying to create an index from Java code to index some data but if i am creating index pattern with time filter Kibana never shows any data. Following below order while creating index with some setting and adding an index template for date filed CreateIndexRequest request = new CreateIndexRequest(indexName); request.settings(Settings.builder() .put("index.max_inner_result_window", 250) .put("index.write.wait_for_active_shards", 1) .put("index.query.default_field", "paragraph") .put(

Logstash beats input “invalid version of beats protocol”

由 冷暖自知 提交于 2021-02-11 13:10:20
问题 I'm writing a kibana plugin and a logstash pipeline. For my tests, I just wrote a logstash input like that: input { beats { port => 9600 ssl => false ssl_verify_mode => "none" } } But when I try to open a connection with node (code above): invoke = (parameters, id, port, host) => { var fs = require('fs'); console.log(`Sending message in beats, host= ${host}, port= ${port}, message= ${parameters.message}`); var connectionOptions = { host: host, port: port }; var client = lumberjack.client

Logstash can not connect to Elastic search

由 末鹿安然 提交于 2021-02-11 12:49:53
问题 {:timestamp=>"2017-07-19T15:56:36.517000+0530", :message=>"Attempted to send a bulk request to Elasticsearch configured at '[\"http://localhost:9200\"]', but Elasticsearch appears to be unreachable or down!", :error_message=>"Connection refused (Connection refused)", :class=>"Manticore::SocketException", :level=>:error} {:timestamp=>"2017-07-19T15:56:37.761000+0530", :message=>"Connection refused (Connection refused)", :class=>"Manticore::SocketException", :backtrace=>["/opt/logstash/vendor

Cannot retrieve data which includes specific symbols in Kibana

由 我怕爱的太早我们不能终老 提交于 2021-02-11 07:05:04
问题 I try to use Kibana to retrive the comment data which includes some specific symbols like ？ and 。 They are not general symbols. I try to use escape character \ for them, the KQL is like comment:\？ or comment:\\? , but it doesn't work, can anyone help? 回答1: When you create a sample doc and let ES auto-generate the mapping for you, POST comments/_doc { "comment": "？" } running GET comments/_mapping will get you "comment":{ "type":"text", "fields":{ "keyword":{ "type":"keyword", "ignore_above"

Cannot use “OR” with “NOT _exists_” in Kibana 6.8.0 search bar

由 自闭症网瘾萝莉.ら 提交于 2021-02-11 06:27:28
问题 I am trying to create one query in the Kibana search bar to retrieve some specific documents. The goal is to get the documents that either have the field "myDate" before 2019-10-08 or "myDate" does not exist. I have documents that meet one or the other condition. I started by creating this query : myDate:<=2019-10-08 OR NOT _exists_:myDate But no documents were returned. Since it did not work, I tried some other ways i found online : myDate:<=2019-10-08 OR NOT (_exists_:myDate) myDate:<=2019

Knative 入门系列7：实战演练

由 ⅰ亾dé卋堺 提交于 2021-02-08 21:57:00
作者：Brian McClain & Bryan Friedman 译者：张晓鹏 审校：孙海洲、邱世达、宋净超 Knative 是一个基于 Kubernetes 的，用于构建、部署和管理现代 serverless 应用的平台。Getting Started with Knative 是一本由 Pivotal 公司赞助 O’Reilly 出品的电子书，公众号后台回复“ knative ”获取英文版下载地址。本书中文版由 ServiceMesher 社区自发翻译系列文章，这是该系列的第7章。 让我们把我们所学的一切运用起来去创造一些东西吧！我们进行一个演练，它利用了您前面所学到的许多知识，并通过使用美国地质勘探局 (USGS) 地震数据源的数据提供了一个服务，以可视化地展示世界各地的地震活动。您可以在 GitHub 存储库 gswk/earthquakedemo 中找到我们将要介绍的代码。 架构 在深入研究代码之前，让我们先看看应用程序的体系架构，如 图7-1 所示。我们在这里构建三个重要的东西:事件源、服务和前端。 图中 Knative 内部的每一个组件都代表着我们将利用目前所学的知识来构建的内容，包括使用 Kaniko 构建模板的服务和用于轮询数据的自定义事件源: USGS 事件源 我们将构建一个自定义的 ContainerSource 事件源，它将在给定的时间间隔轮询 USGS

Resend old logs from filebeat to logstash

由 与世无争的帅哥 提交于 2021-02-08 08:13:20
问题 Thanks in advance for your help. I would like to reload some logs to customize additional fields. I have noticed that registry file in filebeat configuration keeps track of the files already picked. However, if I remove the content in that file, I am not getting the old logs back. I have tried also to change the timestamp of the source in registry file with no sucsess. What changes are needed to sent old logs from filebeat to logstash? How can I get the logs back? Update: This is the last log
订阅 kibana