kibana

学习真的是一件令人开心的事情，上次分享了 Redis 入门 的文章后，收到了很多小伙伴的鼓励，比如说：“哎呀，不错呀，二哥，通俗易懂，十分钟真的入门了”。瞅瞅，瞅瞅，我决定再接再厉，入门一下 Elasticsearch，因为我们公司的商城系统升级了，需要用 Elasticsearch 做商品的搜索。 不过，我首先要声明一点，我对 Elasticsearch 并没有进行很深入的研究，仅仅是因为要用，就学一下。但作为一名负责任的技术博主，我是用心的，为此还特意在某某时间上买了一门视频课程，作者叫阮一鸣。说实话，他光秃秃的头顶让我对这门课程产生了浓厚的兴趣。 经过三天三夜的学习，总算是入了 Elasticsearch 的门，我就决定把这些心得体会分享出来，感兴趣的小伙伴可以作为参考。遇到文章中有错误的地方，不要手下留情，过来捶我，只要不打脸就好。 01、Elasticsearch 是什么 Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 以上引用来自于官方，不得不说，解释得蛮文艺的。意料之中和意料之外，这两个词让我想起来了某一年的高考作文题（情理之中和意料之外）。 Elastic Stack 又是什么呢？整个架构图如下图

Elastic APM安装教程 一、 CentOS设置 1. 更换阿里源 curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum makecache 2. 安装网络工具 yum install net-tools wget -y 3. 使用阿里NTP服务 yum install chrony -y sed -i "/server/d" /etc/chrony.conf vi /etc/chrony.conf 增加 server ntp.aliyun.com iburst systemctl restart chronyd chronyc tracking 4. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 5. 禁用Selinux vi /etc/selinux/config SELINUX=disabled 6. 关闭swap和禁用交换 swapoff -a sudo sysctl vm.swappiness=0 vi /etc/fstab #注释掉swap这行 vi /etc/sysctl.conf 添加如下 vm.swappiness = 0 论证是否生效 sudo sysctl

一、概述 Elasticsearch是一个开源搜索引擎，以易用性着称。kibana是一个图形界面，可以在上面条件检索存储在 ElasticSearch 里数据，相当于提供了 ES 的可视化操作管理器。 fluentd fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。 fluentd 常常被拿来和Logstash比较，我们常说ELK，L就是这个agent。fluentd 是随着Docker，GCP 和es一起流行起来的agent。 这篇文章里概括一下的话，有以下区别： fluentd 比 logstash 更省资源； 更轻量级的 fluent-bid 对应 filebeat，作为部署在结点上的日志收集器； fluentd 有更多强大、开放的插件数量和社区。插件列表这一点值得多说，插件太多了，也非常灵活，规则也不复杂。 基本的架构 这里主要解决的问题是日志查询，日志来源是docker。我们使用docker部署任务时，可以使用 docker logs -f <容器id> 查看日志，也可以去 /var/lib/docker/containers/<容器id>/<容器id>-json.log 查看日志文件。但是这都很难去做查询，本文介绍的EFK就可以解决这个问题。

缘起 我接触 ES 的时间大约是2017年，最初是小打小闹，只是搭了个小的demo环境，用ES来存储给设备日志外加用Kibana做一些简单的可视化展示，自我娱乐和研究而已， 对于ES本身的知识也只是限于碎片化的学习。 2018~2019年是个逐渐井喷的阶段，那时候公司有几个千亿级日志收集和处理的项目开始上马，我作为项目架构师，自然要对Elastic stack玩得更加精深一点，于是便决心想要体系化的学习一下。正好在2019年7月极客时间推出了阮一鸣的ES7.1的视频课，那时便毫不犹豫的买了下来，2019年9月开始被assign到一个AIOps的项目中去，所以之后也只是断断续续的学习。 但也正是在那个AIOps的项目中，我对ES这个强大的数据平台及其与上下游周边系统的关系有了更加清晰的认识，今年年初老板同我谈起建设运维自动化平台的想法，于是想要拿下Elastic 认证的决心也就坚定了下来。 准备过程 Elastic 认证在业内素来有着难通过的“恶名”，而且因为考的全是实操题，所以如果自己没有动手实践的经验是肯定不能通过考试的。3个小时10个大题，每个题目必须分秒必争，也就意味着必须对ES中的各种概念有着非常深刻的理念，并且知道他们出现在官方文档的什么位置才行。抱着这个认识，我的复习准备之路一共分为3个阶段。 2.1 5月16日 到6月15日 第一阶段 今年5/1考完CKA认证后

目录 前言 Kibana查询ElasticSearch 使用C#的Nest查询ElasticSearch 连接 使用连接池 增加文档 批量增加文档 搜索文档 指定索引搜指定字段 查所有的索引: .AllIndices() 查询全部 高亮查询 聚合查询 结构化: 特点,查询结果要么是true要么是false 非结构化搜索: 特点,在全文字段中搜索 组合查询 布尔查询 不好的写法 推荐使用的bool查询 选择要返回的字段 前言 ElasticSearch,Kibana,Logstash等安装上一章讲完了,这一章讲讲ELasticSearch怎么使用 两种方式,一种是直接写ElasticSearch查询语句,当然是在Kibana里面 还有一种是用代码写,可以用Java,C#,PHP,Python等,我这里使用C# Kibana查询ElasticSearch #创建 PUT /test/user/1 { "name":"许嵩", "age":34, "tags":["a","b","c"] } #查询index里面的数量 GET test/_count #查询id为1的 GET test/user/1 #查询name包含许嵩的 GET article/_search?q=title:许嵩 # 也可以使用这种 GET article/_search { "query": { "match":

目录 前言 ElasticSearch安装 启动 命令框启动 服务启动 访问 配置文件elasticsearch.yml修改 插件 ik分词器 ElasticSearch-head安装 Kibana安装 启动 中文 ip访问 LogStash安装 启动 关闭 配置文件 前言 最近需要使用ElasticSearch做全站搜索,目前使用的是Windows版本的 去官网下载安装包,需要注意的一点是,最好版本一致,否则可能报错,比如7.6.2版本的ElasticSearch,Kibana,Logstash ElasticSearch安装 直接解压,默认的端口是9200 启动 命令框启动 可以双击bin目录下的elasticsearch.bat,这样会启动一个命令框,但是你关机下次开机还得重新打开,所以我们使用随电脑启动 服务启动 在bin目录下还有一个elasticsearch-service.bat,在bin目录下执行命令 安装:elasticsearch-service.bat install删除:elasticsearch-service.bat remove启动:elasticsearch-service.bat start停止: elasticsearch-service.bat stop 访问 默认是localhost:9200访问,可以配置使用ip访问 network

0、题记 由于2019年Elastic开发者大会下午分3个会场，使劲浑身解数也只能串了两个分场，所以下面的分享肯定信息不全面。 全面信息后续建议参考Elastic中文社区的PPT。文中可能的细节错误，欢迎大家留言指正。 您的参会干货和认知习得，也欢迎留言讨论交流。 1、感触 从没有见过哪个大会，能干货连连、高潮此起彼伏、全程无尿点； 从没有见过哪个大会，与会者能持续葆有相当高的热情； 从没有见过哪个大会，过道里也站满了人专心听讲，且没有一个人喊累； 从没有见过哪个大会，嘉宾毫无保留的分享技术干货，即便部分内容打了马赛克，但技术细节没有过分阉割； 从没有见过哪个大会，与会讲者老师知无不言、言无不尽； 从没有见过哪个大会，所有人站着吃盒饭，还非常高兴； 从没有见过哪个大会，会后大家围着分享嘉宾问问题，直到主持人打断、直到开始下一场分享； 从没有见过哪个大会，大家走的时候不断回望，非常恋恋不舍，感叹时间过得太快。 ...... 这是Elastic一年一度的盛会，这是Elastic爱好者的朝圣日和狂欢日。 近距离接触，才能体会到开源的强大、分享的强大、社区的强大。 近距离接触，才能明白差距，很多一线大厂已远远走在技术的最前沿，在内核层、源码层、业务层做过大量的创新、优化实战。 ..... 感慨万千，无以言表..... 2、关键词 满满的一天行程下来，以下几个关键词一直在脑海回荡。 的确

开发环境 centos-release-7-3.1611.el7.centos.x86_64 elasticsearch-6.3.1 kibana-6.3.1 logstash-6.3.1 filebeat-6.3.1 ElasticSearch安装 下载ElasticSearch ,国内慢 找 镜像站 下载 wget -c https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz tar -zxvf elasticsearch-6.3.1.tar.gz -C /opt/module/ mkdir data 修改配置文件/opt/module/elasticsearch-6.3.1/config/elasticsearch.yml ### node-1 192.168.9.101 ### node-2 192.168.9.102 ### node-3 192.168.9.103 http.port: 9200 http.cors.enabled: true http.cors.allow-origin: "*" node.master: true node.data: true # 集群名称，默认是elasticsearch ###保证三台服务器节点集群名称相同 cluster

elasticsearch docker network create esnetwork docker run -d --name elasticsearch --net esnetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.0 --registry-mirror=https://docker.mirrors.ustc.edu.cn kibana docker run -d --name kibana --net esnetwork -p 5601:5601 kibana:7.1.0 --registry-mirror=https://docker.mirrors.ustc.edu.cn 来源： oschina 链接： https://my.oschina.net/gdouyang/blog/4293001