kibana

配置和安装 EFK 官方文件目录： cluster/addons/fluentd-elasticsearch $ ls *.yaml es-controller.yaml es-service.yaml fluentd-es-ds.yaml kibana-controller.yaml kibana-service.yaml efk-rbac.yaml 同样EFK服务也需要一个 efk-rbac.yaml 文件，配置serviceaccount为 efk 。 已经修改好的 yaml 文件见： EFK 配置 es-controller.yaml # cat es-controller.yaml apiVersion: v1 kind: ReplicationController metadata: name: elasticsearch-logging-v1 namespace: kube-system labels: k8s-app: elasticsearch-logging version: v1 kubernetes.io/cluster-service: "true" addonmanager.kubernetes.io/mode: Reconcile spec: replicas: 2 selector: k8s-app: elasticsearch-logging

一、安装docker 1.更新yum包 sudo yum update 2.卸载旧版本(如果安装过旧版本的话) sudo yum remove docker docker-common docker-selinux docker-engine 3.安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的 sudo yum install -y yum-utils device-mapper-persistent-data lvm2 4.设置yum源 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo 5.安装docker-ce sudo yum install docker-ce 6.启动并加入开机启动 sudo systemctl start docker sudo systemctl enable docker 7.验证安装 sudo docker version 二、安装docker-compose 1. 安装指定版本（替换1.23.2为自己需要安装的版本） sudo curl -L " https://github.com/docker/compose/releases

在ELK stack 6.8.6增加一个metricbeat用来对system，kafka细粒度的监控 报错前的配置文件如下： #在默认基础上增加的配置 /etc/metricbeat/metricbeat.yml #==================== Modules configuration ================== reload.enabled: true #==================== Dashboards ======================== setup.dashboards.enabled: true setup.dashboards.url: "http://IP:5601" #==================== Kibana ============================ setup.kibana: host: "http://IP:5601" #==================== Ouputs ============================ output.elasticsearch: hosts: ["ES_IP:9200"] 增加配置后重启metricbeat 重启OK 但是无法加载dashboard 这个问题也没有日志，纠结了好久，只能重装，结果发现 只要注销下面两行配置 #setup

最近公司新的商城项目需要用到ElasticSearch搜索引擎。然后我是负责的商品模块中，然后我就开始了解ElasticSearch。 公司的要求是需要搜索出来后，商品要按照：1，综合排序；2，价格升序；3，价格降序；4，销量排序 然后，在了解ElasticSearch中的DSL语法后写完es的接口。 然后自己在postman中测试数据是没有问题的！ 然后在ios端调用此接口时，并没有返回任何参数。 一开始排除以为时请求头不同导致的，在一致请求头的情况下还是没有返回任何参数。 debug一开始也没找到问题，问题就拖了三天左右，在其它功能完善后，我开始慢慢找es的问题， 最终发现es的分页索引时从0开始，而PageHelper的分页从1开始。前端一直默认的是1，从而导致那不导es引擎中的商品数据。 我使用的是ElasticSearch的6.2.2版本 ，ik分词器 6.2.2，kibana-6.2.2. 来源： oschina 链接： https://my.oschina.net/u/4130075/blog/3158539

本篇文章主要是手把手教你搭建 ELK 实时日志分析平台，那么，ELK 到底是什么呢？ ELK 是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。 Elasticsearch 是一个 搜索和分析引擎 。 Logstash 是 服务器端数据处理管道 ，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等存储库中。 Kibana 则可以让用户在 Elasticsearch 中 使用图形和图表对数据进行可视化 。 Elasticsearch 的核心是搜索引擎，所以用户开始将其用于日志用例，并希望能够轻松地对日志进行采集和可视化。有鉴于此，Elastic 引入了强大的采集管道 Logstash 和灵活的可视化工具 Kibana。 ELK日志系统数据流图如下： 简短了解 ELK 是个啥后，让我们一起动手搭建 ELK 实时日志分析平台，首先安装 Elasticsearch。 注： ELK 环境搭建版本很关键，建议统一版本，避免错误无处下手 ，我在这里选用的是 7.1.0 版本。 ElasticSearch 介绍与安装 ElasticSearch 的介绍与安装在上一篇文章已经讲过了，这里就不进行赘述了，大家可以点击下方链接查看： 全文搜索引擎 Elasticsearch 入门：集群搭建

RabbitMQ是一个开放源消息代理，创建于2007年以实现AMQP，并且在过去的十二年中，通过不断增加的插件列表，它已包括HTTP，STOMP，SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中，我们将详述如何使用Elastic Stack来监控RabbitMQ。 RabbitMQ简介 RabbitMQ是消息队列软件，也称为消息代理或队列管理器。 简单地说； 它是定义队列的软件，应用程序连接到该队列以传输一条或多条消息。 一条消息可以包含任何种类的信息。 例如，它可能具有有关应在另一个应用程序（甚至可能在另一个服务器上）上启动的过程或任务的信息，或者可能只是一条简单的文本消息。 队列管理器软件存储消息，直到接收应用程序连接并从队列中取出消息为止。 接收应用程序然后处理该消息。 消息队列的基本体系结构很简单-有一些称之为生产者（producers）的客户端应用程序，它们可以创建消息并将其传递到代理（消息队列）。 其他应用程序（称为消费者，也即consumers）连接到队列并订阅要处理的消息。 软件可以充当消息的生产者或消费者，或者既充当消息的消费者又充当生产者。 存储在队列中的消息将被存储，直到消费者检索到它们为止。 在下面我们来具体介绍如何使用Elastic Stack来把我们想要的RabbitMQ日志导入到Elastic Stack中，并对日志进行分析。

这篇文章主要介绍 ElasticSearch 的基本概念，学习文档、索引、集群、节点、分片等概念，同时会将 ElasticSearch 和关系型数据库做简单的类比，还会简单介绍 REST API 的使用用法。 ElasticSearch 术语 索引和文档是偏向于逻辑上的概念，节点和分片更偏向于物理上的概念。 首先来说下什么是文档： 文档（Document） ElasticSearch（简称 ES） 是面向文档的， 文档是所有可搜索数据的最小单位 。 给大家举几个例子，让大家更形象地理解什么是文档： 日志文件中日志项 一本电影的具体信息、一张唱片的详细信息 MP3 播放器里的一首歌、一篇 PDF 文档中的具体内容 一条客户数据、一条商品分类数据、一条订单数据 大家可以把文档理解为关系型数据库中的一条记录。 在 ES 中文档会被序列化成 JSON 格式 ，保存在 ES 中，JSON 对象由字段组成，其中每个字段都有对应的字段类型（字符串/数组/布尔/日期/二进制/范围类型）。 在 ES 中，每个文档都有一个 Unique ID，可以 自己指定 ID 或者通过 ES 自动生成 。 在上一篇文章 手把手教你搭建 ELK 实时日志分析平台 中，我们讲到了通过 Logstash 向 ES 中导入数据，其中部分测试数据集和对应的转换后的格式如下所示： movieId,title,genres

从官网下载skywalking安装包，包括两部分，一个是skywalking，一个是elasticsearch skywalking下载地址： http://skywalking.apache.org/downloads/ 我们下载linux版本的最新版： https://www.apache.org/dyn/closer.cgi/skywalking/6.6.0/apache-skywalking-apm-6.6.0.tar.gz https://www.apache.org/dyn/closer.cgi/skywalking/6.6.0/apache-skywalking-apm-es7-6.6.0.tar.gz apache-skywalking-apm-6.6.0.tar.gz apache-skywalking-apm-es7-6.6.0.tar.gz 解压 修改：apache-skywalking-apm-bin-es7/webapp/webapp.yml 安装ElK 安装Elasticsearch elasticsearch相关软件下载中心： https://elasticsearch.cn/download/ 下载 elasticsearch kibana 放置到/usr/local/elk目录 创建es用户 useradd es -b /home/es -d

需求：在centos7.4上安装kibana7.5.1 ##1.下载kibana7.5.1 去官网下载 https://www.elastic.co/cn/downloads/kibana 注意：kibana的版本尽量与elasticSearch保持一致。 ##2.解压kibana7.5.1 ##3.修改kibana配置文件 主要修改如下配置： //kibana服务端口 server.port: 5601 //这里默认是localhost，即支持本地访问；改成0.0.0.0即支持外网访问 server.host: "0.0.0.0" //kibana连接的es服务器，由于我的es与kibana安装在同一台服务器上，所以采用默认localhost。 elasticsearch.hosts: [" http://localhost:9200 "] //kibana索引 kibana.index: ".kibana" ##4.启动kibana 这里报错了，报错说明：kibana默认不允许使用root身份运行，这里有两种解决方案， 1>新建个用户testUser，用testUser启动kibana； 2>继续使用root用户启动，kibana给出了提示，加上参数 --allow-root 就行。 我这里采用第二种方案启动。 来源： oschina 链接： https://my

基于ES内置及自定义用户实现kibana和filebeat的认证 作者： “发颠的小狼” ，欢迎转载 目录 ▪ 用途 ▪ 关闭服务 ▪ elasticsearch-修改elasticsearch.yml配置 ▪ elasticsearch-开启服务 ▪ elasticsearch-建立本地内置用户 ▪ kibana-创建私钥库 ▪ kibana-WEB界面确认用户 ▪ filebeat-在WEB界面创建角色及用户 ▪ filebeat-服务器上创建密钥库 ▪ filebeat-配置filebeat.yml ▪ 测试 ▪ 附录 用途 前情提要： ▷ 在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。 ▷ 在第二篇《EFK教程 - ElasticSearch高性能高可用架构》中，阐述了EFK的data/ingest/master角色的用途及分别部署三节点，在实现性能最大化的同时保障高可用。 ▷ 在第三篇《EFK教程(3) - ElasticSearch冷热数据分离》中，阐述了ES多实例部署，将不同热度的数据存在不同的磁盘上，实现了数据冷热分离、资源合理分配。 ▷ 在第四篇《EFK教程(4) - ElasticSearch集群TLS加密通讯》中，阐述了ES集群创建CA、CERT证书