kibana

注 es版本和kibana版本必须保持一致 个人习惯:准备好安装的文件夹 mkdir soft mkdir soft/elasticsearch mkdir datalog 1 . 安装jdk (常用1.8) 当前目录 [root@localhost soft]# wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u141-b15/336fa29ff2bb4ef291e347e091f7f4a7/jdk-8u141-linux-x64.tar.gz" 下载完成之后(个人习惯先改名字) mv jdk-8u141-linux-x64.tar.gz jdk-8u141.tar.gz tar zxvf jdk-8u141.tar.gz 解压完成之后 配置jdk环境变量 vi /etc/profile 在文件底部输入以下信息，并保存 #set java environment export JAVA_HOME=/soft/jdk1.8.0_161 export

1. 部署elasticsearch + kibana apiVersion: v1 kind: PersistentVolume metadata: name: es-data-pv spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce storageClassName: nfs nfs: server: 192.168.0.250 path: /var/nfs/es-data --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: es-data-pvc spec: accessModes: - ReadWriteOnce storageClassName: "nfs" resources: requests: storage: 10Gi --- apiVersion: apps/v1 kind: Deployment metadata: name: es-deployment spec: replicas: 1 selector: matchLabels: app: single-es template: metadata: labels: app: single-es spec: initContainers: - name: init

扩展程序加载elasticsearch-head_v0.1.4 Kibana配置 server.port: 5601 server.host: "192.168.32.17" elasticsearch.hosts: ["http://***:***"] elasticsearch.username: "***" elasticsearch.password: "***" kibana的后台启动 nohup ./kibana >> /opt/kibana.log 2>&1 & http://192.168.32.17:5601/app/kibana Java High Level REST Client https://www.elastic.co/guide/en/elasticsearch/client/java-rest/6.7/java-rest-high-supported-apis.html 阿里云客户端实例 https://help.aliyun.com/document_detail/121359.html?spm=a2c4g.11186623.4.1.6af2bd30gUl4tq keyword 与 text 映射类型的区别 将 book 字段设置为 keyword 映射 （只能精准查询, 不能分词查询，能聚合、排序） POST /es_db/student/

作者：漠然，原文发布于2017年3月4日， 原文链接 一、Ingress 介绍 Kubernetes 暴露服务的方式目前只有三种：LoadBlancer Service、NodePort Service、Ingress；前两种估计都应该很熟悉，具体的可以参考下 这篇文章 ；下面详细的唠一下这个 Ingress 。 1.1、Ingress 是个什么玩意 可能从大致印象上 Ingress 就是能利用 Nginx、Haproxy 啥的负载均衡器暴露集群内服务的工具；那么问题来了，集群内服务想要暴露出去面临着几个问题： 1.2、Pod 漂移问题 众所周知 Kubernetes 具有强大的副本控制能力，能保证在任意副本(Pod)挂掉时自动从其他机器启动一个新的，还可以动态扩容等，总之一句话，这个 Pod 可能在任何时刻出现在任何节点上，也可能在任何时刻死在任何节点上；那么自然随着 Pod 的创建和销毁，Pod IP 肯定会动态变化；那么如何把这个动态的 Pod IP 暴露出去？这里借助于 Kubernetes 的 Service 机制，Service 可以以标签的形式选定一组带有指定标签的 Pod，并监控和自动负载他们的 Pod IP，那么我们向外暴露只暴露 Service IP 就行了；这就是 NodePort 模式：即在每个节点上开起一个端口，然后转发到内部 Pod IP 上，如下图所示

需求分析 日志是作为线上系统排错的关键，通常我们在本机代码调试的时候，错误会直接打印在控制台上，因此我们才能进行错误的判断。当系统运行在线上的时候，如果单纯的通过捕获异常 ，使用**e.printStackTrace()**进行打印肯定是不行的。因为其他的运行信息或者异常也会将打印的信息给顶掉。 这个时候我们就需要引入日志系统了，这里就不在赘述如何打印日志了。 上述这种情况是在单机版的情况下正常运行，这个时候我们的日志是可以正常的进行查看。但是，当我们开始做分布式，做微服务的时候，单机版的日志系统对于这种情况就不适用了。、 此时此刻，日志记录在多个服务器的log文件当中，而对于我们来说排错就变得异常困难了。因为一个服务可能做了集群之后，生成的日志文件还需要去查看在哪个服务器，对于开发的排错来说大大降低了效率。 显然，此时此刻我们需要一个分布式的日志管理系统，对所有的日志进行统一的管理。 分布式日志系统ELK是指Elasticsearch+Logstash+Kibana。Elasticsearch是一个开源的全文检索工具用于日志存储，Logstash是一个日志收集工具。Kibana用于日志查询与展示。下面是系统简单架构图。 ELK的架构体系十分的简单，首先Logstash通过读取数据源中的数据，进行过滤，然后在输出到ElasticSearch当中去。接着使用Kibbna进行日志的查看

ELK日志分析系统 ELK日志分析系统简介 日志服务器 提高安全性 集中存放日志 缺陷 对日志的分析困难 收集数据：LogstashAgent 建立索引：ElasticSearchCluster 数据可视乎：KilbanaServer 简单的结果拓扑 ELK日志分析系统 Elasticsearch 是实时全文搜索和分析引擎 Logstash 是一个用来搜集、分析、过滤日志的工具 Kibana 是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据 日志处理步骤 将日志进行集中化管理 将日志格式化( Logstash )并输出到Elasticsearch 对格式化后的数据进行索引和存储( Elasticsearch ) 前端数据的展示( Kibana ) 2、Elasticsearch介绍 1、Elasticsearch的概述 提供了一个分布式多用户能力的全文搜索引擎 2、Elasticsearch的概念 接近实时 集群 节点 索引： 索引(库)–>类型(表)–>文档(记录) 分片和副本 3、Logstash介绍 1、Logstash介绍 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤，改写等)以及数据输出 2、LogStash主要组件 Shipper Indexer Broker Search

Kibana 是 ES 的一个配套工具，可以让用户在网页中与 ES 进行交互 下载 Kibana 登录http://www.elastic.co 到Elastic官方网站， 选择 Kibana 下载 新的页面中，下拉选择历史版本。 下拉选择 Kibana 和版本，然后点击下载 选择 TAR ，下载就完了。 3、安装和启动 安装，其实就是把本地 tar 包解压就好了。 首先将压缩包解压，并进入Kibana的目录，运行bin：nohup bin/kibana & （这步的前提是在Elasticsearch已经在运行） 启动后，在浏览器上打开 http://localhost:5601 说明我们启动成功了，再打开Dev tool ，我们就可以开始工作了 来源： CSDN 作者： 亚历山大.不死鸟.凯撒 链接： https://blog.csdn.net/u013938578/article/details/104086878

目录 ELK 0、ELK概述 概述 JDK 1、kibana install authentication 2、elasticsearch 注意事项 3、logstash install ELK 0、ELK概述 角色 套接字 kibana 192.168.80.20：5601 elasticsearch 192.168.80.20：9200 logstash 192.168.80.10：9600 概述 我们在学习ELK之前要明确一下ELK是用来做什么的？为什么要学习ELK？我想这两个基本问题是我们学习任何技能之前必须要回答的问题。 ELK是用来做日志分析的，我们通过日志查看类的工具，也即文本查看类工具（ tail -f/less ）也可以做日志分析？为什么要专门用ELK呢？我认为主要的原因有以下两点：| ELK自带图形界面，分析结果自动分析、呈现，一目了然。 可通过正则表达式自定义需要的日志内容 个人认为ELK也是一种监控，只不过是日志方面的监控，而非全面性质的监控，而像zabbix这种监控工具就属于全面性质的监控，我们可以把ELK看做是zabbix的一种补充。 日志分析其实有多种的解决方案，比如说国内有家厂商叫建恒信安，他们出售一种设备，这种设备的名字叫日志审计，其实就是一个日志分析，我们公司曾经出售过这样的设备，这种设备不过就是一个普通的服务器然后安装了一个日志分析的服务

1：前提 ：服务器已搭建java环境 1.8 2:elk步骤 :首先搭建ES做数据存储，然后搭建Kibana做数据可视化。最后搭建Logstash做数据流转 ：：1：搭建ES 1:在服务器根目录下 创建名为ELK文件夹 1:cd / 2: mkdir elk 3:cd elk 2: 下载ES包：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz 3：解压之 tar -zxvf elasticsearch-6.4.3.tar.gz 整体目录如下 修改相关文件配置。由于这个服务器是1核1G的。es默认配置-Xms 和-Xmx都是1G 一般是需要启动将其增加到4G左右。但是 服务器只有1G，还搭了XXL和别的东西 就给了512M 不然无法启动。 然后需要修改系统的虚拟内存大小 vim /etc/sysctl.conf 修改vm.max_map_count=262144 。未定义该参数则新增。 推出vim 后执行 sysctl -p 使其立即生效。 由于ES无法使用root 账户登录 所以新增一个用户 并赋予es文件夹权限 add user useres ;chown -R useres /elk/elasticsearch-6.4.3 然后启动es 执行es文件夹 bin