kibana | 易学教程

基于kibana开发工具(Dev Tools )修改logstash模板

阅读更多关于基于kibana开发工具(Dev Tools )修改logstash模板

1.查询模板 GET _template/logstash #! Deprecation: [types removal] The parameter include_type_name should be explicitly specified in get template requests to prepare for 7.0. In 7.0 include_type_name will default to 'false', which means responses will omit the type name in mapping definitions. { "logstash" : { "order" : 0, "version" : 60001, "index_patterns" : [ "logstash-*" ], "settings" : { "index" : { "refresh_interval" : "5s" } }, "mappings" : { "_default_" : { "dynamic_templates" : [ { "message_field" : { "path_match" : "message", "mapping" : { "norms" : false, "type" : "text" }, "match

Python Elasticsearch API操作ES集群

阅读更多关于 Python Elasticsearch API操作ES集群

环境 Centos 7.4 Python 2.7 Pip 2.7 MySQL-python 1.2.5 Elasticsearc 6.3.1 Elasitcsearch6.3.2 知识点调用Python Elasticsearh API Python Mysqldb使用 DSL查询与聚合 Python 列表操作代码 #!/usr/bin/env python # -*- coding: utf-8 -*- #minyt 2018.9.1 #获取24小时内出现的模块次数 # 该程序通过elasticsearch python client 获取相关精简数据，可以计算请求数、超时数、错误数、正确率、错误率等等 import MySQLdb from elasticsearch import Elasticsearch from elasticsearch import helpers #定义elasticsearch集群索引名 index_name = "logstash-nginxlog-*" #实例化Elasticsearch类，并设置超时间为180秒，默认是10秒的，如果数据量很大，时间设置更长一些 es = Elasticsearch(['elasticsearch01','elasticsearch02','elasticsearch03'],timeout=180)

详解k8s原生的集群监控方案(Heapster+InfluxDB+Grafana)

阅读更多关于详解k8s原生的集群监控方案(Heapster+InfluxDB+Grafana)

1、浅析监控方案 heapster是一个监控计算、存储、网络等集群资源的工具，以k8s内置的cAdvisor作为数据源收集集群信息，并汇总出有价值的性能数据(Metrics)：cpu、内存、network、filesystem等，然后将这些数据输出到外部存储(backend)，如InfluxDB，最后再通过相应的UI界面进行可视化展示，如grafana。另外heapster的数据源和外部存储都是可插拔的，所以可以很灵活的组建出很多监控方案，如：Heapster+ElasticSearch+Kibana等等。 Heapster的整体架构图： 2、部署本篇我们将实践 Heapster + InfluxDB + Grafana 的监控方案。使用官方提供的yml文件有一些小问题，请参考以下改动和说明： 2.1、创建InfluxDB资源对象 apiVersion: apps/v1 kind: Deployment metadata: name: monitoring-influxdb namespace: kube-system spec: replicas: 1 selector: matchLabels: task: monitoring k8s-app: influxdb template: metadata: labels: task: monitoring k8s-app:

Elasticsearch基本CURD操作

阅读更多关于 Elasticsearch基本CURD操作

当我们的ES集群搭建完成以后，我怎么能看到集群中各个节点状态以及主节点和健康情况呢，如下讲解使用curl命令来与ES集群进行交互、分别有查询主节点情况、集群状态、以及创建索引查看索引、查看分片以及对ES集群进行查询请求等操作。 CURL语法讲解 RESTful API: curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>' -X：指定请求方式 <VERB>：GET,POST,PUT,DELETE 一般请求为GET、提交变更为POST、上传文件为PUT、删除操作为DELETE <PROTOCOL>：协议，一般为HTTP协议 <HOST>：主机，可为主机的IP地址或Hostname <PORT>：主机端口 <PATH>：路径，主机端口后的路径，如下几个路径：/_cat, /_search, /_cluster /_cat路径覆盖了大多数的信息内容,/_search为搜索所有的索引和文档类型 <QUERY_STRING>：查询字符串匹配规则 -d：指定主体内容 <BODY>：json格式的请求主体 Elasticseearch基本查询语句 //查看_cat支持的信息 kibana: GET /_cat bash: curl -XGET -u elastic

ELK 中 Kibana 使用教程

阅读更多关于 ELK 中 Kibana 使用教程

Kibana 使用教程 Kibana 是什么 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。下面分别演示一下 Kibana(7.8.1 版本 ) 的自定义索引，搜索，控制台调用 es 的 api 和可视化等操作，特别需要注意的是，控制台可以非常方便的来调用 es 的 api ，强烈推荐使用。如何加载自定义索引访问本地 kibana 路由 http://27.0.0.1:5601/app/kibana#/home 展开左侧边栏，点击【 Stack Management 】点击【 Index Pattern 】，再点击【 Create index pattern 】按钮输入索引名字，可以支持模糊查询字符 *，注意不能使用空格和特殊字符 \, /, ?, ", <, >, | .。点击下一步【Next step】 Logstash 数据集会包含时间序列数据，所以确保 Time-field name 下拉列表中选择 @timestamp 字段。点击【 Create index pattern 】。索引创建成功。搜索数据使用一下 kibana 查看索引数据。点击左侧边栏【

Docker 部署 Elasticsearch

阅读更多关于 Docker 部署 Elasticsearch

Elasticsearch 认证插件选择这里选择一个免费的：社区插件 Readonly REST 下载地址： https://readonlyrest.com/download/ 1、进入网站后选择插件类型、elastic版本、邮箱地址 2、提交后下载地址会发送到你的邮箱编辑Dockerfile 我这里安装的 elastic:6.8.0 FROM elasticsearch:6.8.0 COPY readonlyrest-1.18.0_es6.8.0.zip /plugins/readonlyrest-1.18.0_es6.8.0.zip RUN sh -c 'echo -e "y" | /usr/share/elasticsearch/bin/elasticsearch-plugin install file:///plugins/readonlyrest-1.18.0_es6.8.0.zip' 构建镜像 docker build -t elasticsearch:6.8.0 . 可以用 docker images 查看是否构建成功如果下载docker下载速度很慢或无法连接可以配置一下docker 加速官方 - https://registry.docker-cn.com 163 - http://hub-mirror.c.163.com 编写配置文件

一文详解微服务架构

阅读更多关于一文详解微服务架构

本文将介绍微服务架构和相关的组件，介绍他们是什么以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景，因此不会涉及具体如何使用组件等细节。为了防止不提供原网址的转载，特在这里加上原文链接： https://www.cnblogs.com/skabyy/p/11396571.html 要理解微服务，首先要先理解不是微服务的那些。通常跟微服务相对的是单体应用，即将所有功能都打包成在一个独立单元的应用程序。从单体应用到微服务并不是一蹴而就的，这是一个逐渐演变的过程。本文将以一个网上超市应用为例来说明这一过程。最初的需求几年前，小明和小皮一起创业做网上超市。小明负责程序开发，小皮负责其他事宜。当时互联网还不发达，网上超市还是蓝海。只要功能实现了就能随便赚钱。所以他们的需求很简单，只需要一个网站挂在公网，用户能够在这个网站上浏览商品、购买商品；另外还需一个管理后台，可以管理商品、用户、以及订单数据。我们整理一下功能清单：网站用户注册、登录功能商品展示下单管理后台用户管理商品管理订单管理由于需求简单，小明左手右手一个慢动作，网站就做好了。管理后台出于安全考虑，不和网站做在一起，小明右手左手慢动作重播，管理网站也做好了。总体架构图如下：小明挥一挥手，找了家云服务部署上去，网站就上线了。上线后好评如潮，深受各类肥宅喜爱

Elasticsearch put role API

阅读更多关于 Elasticsearch put role API

问题 I started using the create role API and it works as expected : https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-put-role.html I got the list of default roles in elasticsearch, /_security/role but I don't know to create the following roles and not able to find the proper docs for it. I want to segregate the user based on the following needs, Role which has the privilege to perform only READ / WRITE in all the indices in Elastic Search (This role should not have

Elasticsearch put role API

阅读更多关于 Elasticsearch put role API

[Elasticsearch]4.可伸缩性解密：集群、节点和分片

阅读更多关于 [Elasticsearch]4.可伸缩性解密：集群、节点和分片

可伸缩性解密：集群、节点和分片更新连载中...请关注 Scalability and resilience: clusters,nodes, and shard Elasticsearch支持根据需要进行扩缩容.这得益于Elasticsearch是原生支持分布式的.可以通过往机器中添加服务器（节点）的方式扩大集群容量从而存储更多数据.Elasticsearch会自动的均一些数据和计算任务给新加入的数据.甚至不需要应用程序参与，Elasticsearch完全知道该怎么把数据均衡到多个节点并且提供良好的可伸缩性和高可用性.集群的节点越多这种操作越顺滑越无感. 就是这么丝滑，堪比丝袜! Elasticsearch is built to be always available and to scale with your needs. It does this by being distributed by nature. You can add servers (nodes) to a cluster to increase capacity and Elasticsearch automatically distributes your data and query load across all of the available nodes. No need to

订阅 kibana