kibana

中文分词器 安装IK分词器(支持中文分词) IK分词器提供了源代码(maven项目), 通过打包生成zip文件 使用Kibana进行测试 Kibana的使用看这个博客: Elasticsearch入门(Kibana) { "analyzer": "ik_max_word", "text": "我是中国人" } 测试结果 { "tokens": [ { "token": "我", "start_offset": 0, "end_offset": 1, "type": "CN_CHAR", "position": 0 }, { "token": "是", "start_offset": 1, "end_offset": 2, "type": "CN_CHAR", "position": 1 }, { "token": "中国人", "start_offset": 2, "end_offset": 5, "type": "CN_WORD", "position": 2 }, { "token": "中国", "start_offset": 2, "end_offset": 4, "type": "CN_WORD", "position": 3 }, { "token": "国人", "start_offset": 3, "end_offset": 5, "type": "CN_WORD"

本文与前文是有关联的，之前的两篇文章客官可以抬腿出门右转 导读 ， ELK 之前端 ， ELK 之分布式发 #前端和消息队列搞定之后，我们需要安装数据采集工具filebeats和数据过滤机运输工具Logstash，一般情况我们都使用filebeats 用来收集日志文件,我自定义了一个log文件，文件内容如下： 55.3.244.1 GET /index.html 15824 0.043 55.3.244.1 GET /index.html 15824 0.043 文件位置放到/tmp/test.log cd /opt/elk/filebeat-6.2.2-linux-x86_64 #filebeat 的配置文件大体上分为两部分，输入部分和输出部分，输入指定输入源即可，输出可以选择直接到elasticsearch，logstash或者是消息队列（redis&kafka）等，本文采用kafka 作为消息队列； FIlebeat 配置文件内容详解： vi filebeat.yml filebeat.prospectors: #日志类型 - type: log enabled: True # 日志路径可以写多个，支持通配符 paths: - /tmp/test.log #设置字符集编码 encoding: utf-8 #文档类型 document_type: my-nginx-log

需求 1.开发人员不能登录线上服务器查看日志 2.各个系统都有日志，日志分散难以查找 3.日志数据量大，查找慢，数据不够实时 解决办法：部署ELK平台 ELK介绍 ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash 。 ELK架构图 Elasticsearch简介： Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 部署Elasticsearch 1.配置yum源 rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch #导入密钥 vim /etc/yum.repos.d/elasticsearch.repo #配置yum源 [elasticsearch-2.x] name=Elasticsearch repository for 2.x packages baseurl=http://packages.elastic.co

背景 日志内容复杂多样，如何去收集有价值的日志是我们重点关注的。日志的价值其实是取决于业务操作的，不同的业务场景下相同类型的日志的价值会截然不同。 根据以往的业务实践，结合企业级的一些业务需求，我们选定关注以下几类日志。 跟踪日志【trace.log】 Server引擎的调试日志，用于系统维护人员定位系统运行问题使用。 系统日志【system.log】 大粒度的引擎运行的入口、出口的日志，用于调用栈分析，可以进行性能分析使用。 部署日志【deploy.log】 记录系统启动、停止、构件包部署、集群通知等信息的日志。 引擎日志【engine.log】 细粒度的引擎运行日志，可以打印上下文数据，用于定位业务问题。 构件包日志【contribution.log】 构件包记录的业务日志（使用基础构件库的日志输出API写日志） 这里我们专门针对系统日志收集讨论几种收集方案 方案一：通过日志组件来收集 这里是指通过logback、log4j等日志组件来输出文件，然后再通过文件输出到logstash、kibana等日志组件中，通过这些日志组件来进行可视化统计与分析，这里需要统一关键日志输出格式方便日后统计搜索。 优点 操作简单，收集方便 减少业务依赖 粒度细 缺点 依赖于logstash、kibana 只能满足简单的日志操作，详细点或者个性化需求操作起来比较复杂 方案二

报错信息 ： 原因 ： elasticsearch内存不足，IO读写阻塞。 解决办法 ： 方法1、修改elastisearch的内存 / usr / local / elasticsearch - 6.2 .3 / config# vi jvm . options 方法2、修改kibana的超时时间 如果机器的内存不是那么的充足的话，我们可以改改后端弹性搜索的阈值。修改配置文件/etc/kibana/kibana.yml的第66行，将#去掉，然后将30000毫秒（也就是30s） 更改成40000(40秒)，这个根据实际情况进行修改。 / usr / local / kibana - 6.2 .3 - linux - x86_64 / config# vi kibana . yml 参考链接： kibana-Request Timeout after 30000ms故障解决 ： https://www.cnblogs.com/operationhome/p/9028396.html 来源： CSDN 作者： 寰宇001 链接： https://blog.csdn.net/qq_40907977/article/details/104499178

说明: 12 1 单台k8s,本机目录挂载(未配置cephfs)2 如果replicas大于1, 就会出现多个es挂载同一个目录,会出现报错(uuid block) 1. es配置本地挂载 k8s-es-7.2.0.yml 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128 apiVersion: v1kind: ServiceAccountmetadata: labels: app: elasticsearch name: elasticsearch7-admin namespace: ns-elastic7apiVersion: rbac.authorization.k8s.io/v1kind: ClusterRoleBindingmetadata: name:

1，镜像下载 1.1 所有节点下载镜像 docker pull kibana:5.6.4 docker tag kibana:5.6.4 docker.elastic.co/kibana/kibana:5.6.4 docker pull xiaoqshuo/fluentd-elasticsearch:v2.0.4 docker pull xiaoqshuo/elasticsearch:v5.6.4 docker tag xiaoqshuo/fluentd-elasticsearch:v2.0.4 k8s.gcr.io/fluentd-elasticsearch:v2.0.4 docker tag xiaoqshuo/elasticsearch:v5.6.4 k8s.gcr.io/elasticsearch:v5.6.4 master01下载对应的k8s源码包 wget https://github.com/kubernetes/kubernetes/releases/download/v1.12.3/kubernetes.tar.gz 对节点进行label [root@k8s-master01 fluentd-elasticsearch]# pwd /opt/k8-ha-install/kubernetes/cluster/addons/fluentd-elasticsearch

Kibana 是为Elasticsearch设计的开源分析和可视化平台,你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。 （1）kibana配置 1.下载安装 wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm yum install -y kibana-6.0.0-x86_64.rpm 2.修改配置文件 vim /etc/kibana/kibana.yml server.port: 5601 //监听端口 server.host: "192.168.1.31" //监听IP地址，建议内网ip elasticsearch.url: "http://192.168.1.31:9200" //elasticsearch连接kibana的URL，也可以填写192.168.1.32，因为它们是一个集群 3.启动服务 systemctl enable kibana systemctl start kibana 4.验证 ss -antlup | grep 5601 测试访问192.168.1.31:5601 可以通过访问http://192.168.1.31:5601