kibana

日志是每个系统最为头疼的地方，杂乱，还多，没有还不行，想管理好的话，得经得起考验，要解决的问题总结如下： （1）高并发 （2）高吞吐量 （3）支持分布式集群 （4）检索要快 简介： 1.Zoomkeeper Kafka的通道 2. Kafka Kafka主要是解决大量日志的处理的分布式发布订阅消息系统，拥有高吞吐量，相比Redis而言，可能存在数据丢失的情况，速度更快，仅支持topic模式，更适合做日志系统 3.Logstash Logstash是一个写入工具，可以说是一个桥梁，实现将kafka的consumer端和Elasticsearch数据连通有很大作用，另外也可以将文件写入到Elasticsearch中，还可以将历史的日志也转存到Elasticsearch中，还是个多功能的工具，官方最新版本中已经默认支持了对Kafka和Elasticsearch的配置 4.Elasticsearch Elasticsearch是可以分布式集群部署的全文搜索引擎服务器（NoSQL数据存储），既拥有Lucene的全文检索功能，同时还能进行分布式储存，检索速度快，与Hadoop联合作数据分析，稳健性高，可以在一个集群宕机后，使用备用集群，一样可以工作，缺点：需要足够的内存和CPU资源 5.Kibana Kibana主要用于对Elasticsearch数据的展示和分析 方案：

一、安装 安装条件 保证安装了JDK 保证安装node 保证安装了Elasticsearch 1、点击 kibana官网下载 【 kibana的版本和elasticsearch的版本和必须一致 】 2、修改配置（可以省略） 打开config路径下文件kibana.yml 。 设置elasticsearch.url为启动的elasticsearch（http://localhost:9200/）（其实按照默认可以不用修改配置文件） 3、进入kibana的bin目录，双击kibana.bat（第一种方式） 　通过cmd的方式进入kibana的bin目录，运行kibana.bat（第二种方式）； 4、访问： http://localhost:5601 ，出现以下界面即完成安装。 回到顶部 二、使用NSSM将Kibana安装为Windows服务 　　Kibana不同于Elasticsearch，前者官方并没有提供安装为系统服务的方法，如果直接运行在生产环境中会尤为麻烦，一旦服务器因故重启就要手动开启，所以将Kibana安装为系统服务非常有必要。 那么开始前，请确保已经安装过Elasticsearch，以及下载了对应版本的Kibana，两者的版本号最好一致，否则会出现版本不兼容的问题。 1.下载NSSM： http://www.nssm.cc/download ，解压后目录结构如下： 2

一、windows下安装Filebeat 官网下载安装包 解压到指定目录，打开解压后的目录，打开filebeat.yml进行配置。 1、配置为输出到ElasticSearch ①：配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 。。eg：在当前目录下建一个data文件夹，里面放下载的示例文件（ 在Logstash那篇 ），人家应该是linux下的文件。 我这里将下载的日志文件 加了后缀.log ，放在data目录下 所以我的配置如下： - type: log # Change to true to enable this input configuration. enabled: true # Paths that should be crawled and fetched. Glob based paths. paths: - E:\filebeat-6.6.2-windows-x86_64\data\logstash-tutorial.log\*.log #- c:\programdata\elasticsearch\logs\* ②：配置 enabled: true 这个配置很重要，只有配置为true之后配置才可生效，否则不起作用。 ③：配置Outputs ，这里的Outputs有elasticsearch，logstash

一，下载软件 下载地址 https://www.elastic.co/cn/downloads/ ，里面有 Elasticsearch Kibana Logstash Beats 整套软件下载，我们只下载 Elasticsearch 和 Kibana 。 下载有 2种 一种是 rpm 包，另外是 .tar.gz 解压文件，我们这里选择 .tar.gz ，版本选择 最新版 注意要版本一致。 下载命令： wget https://artifacts.elastic.co/downloads/kibana/kibana-6.7.1-linux-x86_64.tar.gz wget wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.1.tar.gz 二，修改系统参数 vim /etc/sysctl.conf #增加如下内容 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.ip_local_port_range = 10240 65535 vm.max_map_count = 262144 vim /etc/security/limits.conf #增加如下内容 root soft nofile 65536

1.外面的电脑可以访问本机的虚拟机（共享虚拟机服务） iptables -t nat -A PREROUTING -i enp2s0 -d 172.40.5.1 -p tcp --dport 2222 -j DNAT --to 192.168.4.10:22（路由前iptables作目的地址转发） 2.虚拟机连接外网 1）关闭本机防火墙服务 systemctl stop firewalld.service 2）开启本机路由转发功能 sysctl -w net.ipv4.ip_forward=1 3）iptables作源地址伪装 iptables -t nat -A POSTROUTING -s 192.168.4.0/24 -o p8p1 -j MASQUERADE 4）在虚拟机里添加网关地址：route add default gw 192.168.4.254 3.brctl show 查看网桥 brctl addbr lo1 创建网桥 brctl delbr lo1 删除网桥 brctl addif lo1 连接网桥 brctl delif lo1 断开连接 一 。ansible介绍 1.自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 二。ansible特点

【Kibana】Kibana入门教程 一、Kibana简介及下载安装 　　Kibana是专门用来为ElasticSearch设计开发的，可以提供数据查询，数据可视化等功能。 　　下载地址为： https://www.elastic.co/downloads/kibana#ga-release ，请选择适合当前es版本的Kibana。 　　本教程使用Kibana4.5.4版本，以及es2.3.5版本。假定你已经具有es基本的知识。 1.1 安装步骤 　　安装步骤比较简单。 下载完后解压到任意目录。 启动es 配置config目录下的kibana.yml的elasticsearch.url指向es地址 运行bin目录下的kibana 如果没有修改配置文件的端口，那么在浏览器中输入http://localhost:5601 启动Kibana后，Kibana会自动在配置的es中创建一个名为.kibana的索引，用来存储数据，注意不要删除了。 1.2 数据准备 　　启动后如果显示如下界面： 　　说明Kibana没有在es中找到合适的index用来展示，如果es中没有数据，那么可以导入官方测试数据，用来学习操作。 　　如果你的es中已经有可以用来测试的数据，那么可以略过本节。 　　首先下载三个数据文件： 莎士比亚完整的作品， shakespeare.json 虚构的随机的账目数据，

写在前头 这篇文章是笔者在搭建ES学习环境的随笔记录，如果是自己测试用的话可以按照文章内容进行， 下面的配置不要放到生产环境中。 服务器：阿里云ECS 操作系统：Centos 8.0 64bit，安装用户：root Elasticsearch:7.6.2 Kibana:7.6.2 官网： https://www.elastic.co/ GitHub： https://www.elastic.co/ 安装ES RPM安装 下载最新版本RPM，下载地址： https://www.elastic.co/cn/downloads/past-releases#elasticsearch 执行安装命令 rpm -ivh elasticsearch-7.6.2-x86_64.rpm 设置开机启动，并启动ES服务 systemctl daemon-reload systemctl enable elasticsearch.service systemctl enable elasticsearch.service 验证启动结果 curl -X GET http://localhost:9200/ 看到如下内容 { "name" : "iZuf657r4ko787z28jy8lmZ", "cluster_name" : "elasticsearch", "cluster_uuid" :

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具，可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。 而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习Elasticsearch的语法。 安装 Kibana依赖于node 要先安装node.js 上传压缩包 解压 进入安装目录下的config目录，修改kibana.yml文件： 修改elasticsearch服务器的地址： elasticsearch.url: "http://192.168.56.101:9200" kibana的监听端口是5601 控制台 输入请求，访问Elasticsearch。 来源： https://www.cnblogs.com/qin1993/p/12642982.html

中文分词器(IK) GitHub下载地址 下载的时候注意一下，最好不要下高版本的，而且最好和你的elasticsearch版本一样，不然后面配置可能会有报错 我用的是 6.3.0 版本，最新版本配置会出错 解压后使用 mvn 命令打包( 本地要配置maven环境变量 ) mvn package 会发现多了一个target 进入安装目录/target/releases 解压文件夹下压缩包 解压后删除压缩包 ，看到如下目录： 在elasticsearch-6.3.0/plugins 下新建 ik 文件夹 将解压后的文件复制进来 最后重启 elasticsearch 最后再说一下，不要用高版本的 最好和你的 elasticsearch 版本一致 使用 kibana 测试 (不明白的请阅读两篇前置文章) 使用大概说明： Kibana安装和简单使用 输入(发请求) GET _analyze { "analyzer":"ik_max_word", "text":"庭前云落天下无双" } 输出(响应JSON数据) { "tokens": [ { "token": "庭前", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 0 }, { "token": "云", "start_offset": 2, "end

下一篇：Elasticsearch - 中文分词器(IK) 安装和简单使用 ELK Kibana 简介： Kibana 可以为Elasticsearch中索引的数据提供搜索和数据可视化功能。 通常视作 ES的制图工具 也可以作为用户界面来监测和管理 Elastic Stack 集群 还可以作为基于 Elastic Stack 所开发内置解决方案的汇集中心 官网下载地址 ( 下载的要和你的Elasticsearch版本一致 ) 解压(安装目录/bin/kibana.bat)启动 要先启动 elasticsearch.bat 成功 访问 http://localhost:5601 控制台 使用中文分词器IK 来源： oschina 链接： https://my.oschina.net/tingqianyunluo/blog/3217711