kibana

项目背景 随着业务的不断优化调整，开发的环境由传统环境转向Docker容器方向，各种开发过程和应用的日志变得更加种类繁多。 因此，集中式的日志管理与展示分析变得尤为重要。 项目实施架构 Docker环境搭建 Centos 7.5 docker ( 一 ) 安装 EFK简介 ## Elasticsearch ： 官网 https://www.elastic.co 分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。 Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 ## Fluentd (td-agent)： https://www.fluentd.org 是开源社区中流行的日志采集器，提供了丰富的插件来适配不同的数据源、输出目的地等。 fluentd基于C和Ruby实现，并对性能表现关键的一些组件用C语言重新实现，整体性能不错 由于docker的log driver默认支持Fluentd，所以发送端默认选定Fluentd. td-agent是fluentd的易安装版本，由Treasure Data公司维护。一般会默认包含一些常用插件 fluentd适合折腾，td

本文将介绍在kubernetes 1.9集群下配置elasticsearch、fluentd、kibana集中收集k8s集群日志信息。俗称EFK，其中elasticsearch负责存储日志。fluentd负责将集群中docker主机上的日志发送给elasticsearch，因此fluentd在k8s集群中需要以daemonset的方式运行。kibana负责图形化展示日志信息。 一、环境介绍 软件环境： K8s版本：1.9.0 docker版本：17.03.2-ce Elasticsearch版本及镜像下载地址：k8s.gcr.io/elasticsearch:v5.6.4 Kibana版本及镜像下载地址：docker.elastic.co/kibana/kibana:5.6.4 Fluentd版本及镜像下载地址：gcr.io/google-containers/fluentd-elasticsearch:v2.0.4 Master节点： 主机名：vm1 IP地址：192.168.115.5/24 Node节点： 主机名：vm2 IP地址：192.168.115.6/24 二、下载yaml文件和elasticsearch、fluentd、kibana对应版本的镜像。 镜像的下载需要使用科学上网方式实现。 Yaml文件下载地址： https://github.com

一、拉取镜像 docker pull kibana:5.6.9 二、启动容器 docker run --name kibana -e ELASTICSEARCH_URL=http://10.0.0.11:9200 -p 5601:5601 -d kibana:5.6.9 三、访问kibana http://10.0.0.11:5601 四、可能遇到的问题 1、kibana连接不上es，需要开启防火墙9200端口，我这里是centos7 firewall-cmd --zone=public --add-port=9200/tcp --permanent#重启防火墙systemctl restart firewalld.service 来源： https://www.cnblogs.com/angelyan/p/11616928.html

原创转载请注明出处： https://www.cnblogs.com/agilestyle/p/11759137.html 拉取镜像 1 docker pull kibana:7.4.1 创建用户自定义网络 1 docker network create hahanetwork 运行Kibana 1 docker run --name kibana --net hahanetwork -p 5601:5601 -d kibana:7.4.1 查看 http://localhost:5601 Dashboard Dev Tools Reference https://hub.docker.com/_/kibana 来源： https://www.cnblogs.com/agilestyle/p/11759137.html

ELK日志收集系统 一：软件包下载地址 二：环境准备 三：kibana安装与配置 四：安装nginx 五：filebeat安装配置 5.1 配置filebeat收集nginx日志 5.2 kibana设置 一：软件包下载地址 本文所需要所有软件包下载地址： 链接：https : // pan . baidu . com / s / 1J2rbPZkWEfg_M8k3W8jQPQ 提取码：x3i9 二：环境准备 Elasticsearch的安装见： Elasticsearch集群 IP 系统 硬件配置 软件部署 172.17.2.239 CentOS7.4 2 CPU, 4G MEM elasticsearch6.6.0，kibana6.6.0，nginx，filebeat 172.17.2.240 CentOS7.4 2 CPU, 4G MEM nginx，filebeat 三：kibana安装与配置 [ root@node01 tools ] # yum localinstall -y kibana-6.6.0-x86_64.rpm kibana配置文件： [ root@node01 kibana ] # grep '^[a-z]' /etc/kibana/kibana.yml server . port : 5601 server . host : "172.17.2.239"

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找 ：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断 ：通过对日志信息进行统计、分析

简介 开始学es，总结出现的问题和解决方法。本文是在三个节点上进行安装。条件允许的话，可以在多台机器上配置es节点，如果你机器性能有限，那么可以在一台虚拟机上完成多节点的配置。 三个节点如下:A,B,C 几个基本名词 index（索引）: es里的index相当于一个数据库。 type（类型）: 相当于数据库里的一个表。 document（文档） 相当于mysql中的一行（一条记录） field（域） 相当于mysql中的一列（一个字段） id： 唯一，相当于主键。 node:节点是es实例，一台机器可以运行多个实例，但是同一台机器上的实例在配置文件中要确保http和tcp端口不同（下面有讲）。 cluster:代表一个集群，集群中有多个节点，其中有一个会被选为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。 shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 replicas:代表索引副本，es可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率，es会自动对搜索请求进行负载均衡。 下载es es的安装依赖于jdk

前言 最近开始尝试学习Elastic Search，因此决定做一些简单的整理，以供后续参考，快速上手使用ES。 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 我们建立一个网站或应用程序，并要添加搜索功能，但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快，我们希望能有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题以及可能出现的更多其它问题。 可以简单地认为，ES是基于Lucene，进行了一些封装，可以作为一个独立的搜索服务。通过HTTP协议，将数据存放到ES中，并且向ES发出搜索请求以及得到回应。部署ES之后，可以为多个网站提供搜索服务。 同时，ES支持分布式，支持更多高级的搜索、数据分析等特性，作为入门级笔记，暂不多研究了。 安装 安装 jdk

一、安装 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 （一）Elasticsearch下载与安装 1、Elasticsearch的下载 官网下载有时太慢，这里分享一个链接：链接： https://pan.baidu.com/s/1u-3M4yr7zTjioYQZQKCeYQ 提取码：vfr3 下载完成后进行解压，进入到如下目录： 可以看到里面有一个jdk的文件夹，所以你先需要将jdk的环境配置好： 2、配置jdk环境 JAVA_HOME配置 在系统环境变量中配置JAVA_HOME变量 配置classpath .;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar 编辑Path %JAVA_HOME%\bin\;%JAVA_HOME%\jre\bin; 测试是否安装成功 3、启动Elasticsearch 可以进入到其bin目录下，点击elasticsearch.bat直接运行： 但是不出意外的话，应该很大可能失败，此时我们需要看看错误信息，需要在cmd串口中进行运行，错误信息有以下情况： 错误一 OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was

一文入门Es、Logstash、Kibana 前言 Elasticsearch是什么？既然它是英文的，我们不妨借助有道从 Elasticsearch 这几个字母出发来看看其字面上所表达的意思吧。其分为elastic和search两个独立的单词，既然如此，我们无脑有道一波，得到的解释如下： 从有道的解释来看，我们可以简单的对其理解为： Elasticsearch是及其具有弹性的、灵活的、像松紧带一样的且可供搜寻检索的一款工具。 o(*≧▽≦)ツ┏━┓ 百度百科对其解释如下： ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache、Groovy、Ruby和许多其他语言中都是可用的。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎，其次是Apache Solr，也是基于Lucene。 从如上信息我们可以得知，Elasticsearch是一款实时、分布式存储的搜索引擎，在实际开发过程中