ElasticSearch

#ELKStack之极速入门（上） 链接： https://pan.baidu.com/s/1V2aYpB86ZzxL21Hf-AF1rA 提取码：7izv 复制这段内容后打开百度网盘手机App，操作更方便哦 ##1. EKL介绍 ###1.1 需求背景 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题 出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块， 构建一套集中式日志系统，可以提高定位问题的效率。 一个完整的集中式日志系统，需要包含以下几个主要特点： (1)收集－能够采集多种来源的日志数据 (2)传输－能够稳定的把日志数据传输到中央系统 (3)存储－如何存储日志数据 (4)分析－可以支持 UI 分析 (5)警告－能够提供错误报告，监控机制 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的 满足了很多场合的应用。目前主流的一种日志系统。 ###1.2 ELKStack介绍

在基于时序数据中，我们总是关心最近产生的数据，例如查询订单通常只会查询最近三天，至多到最近一个月的，查询日志也是同样的情形，很少会去查询历史数据，也就是说类似的时序数据随着时间推移，价值在逐渐弱化。在es中经常按日或按月建立索引，我们很容易想到，历史索引被查询命中的概率越来越低，不应该占用高性能的机器资源(比如大内存，SSD)，可以将其迁移到低配置的机器上，从而实现冷热数据分离存储。 分片分配规则(shard allocation filtering) 假设我们有三个es节点，一台高性能机器(hot)和2个低配置机器(warm)，通常索引分片会均匀分布在集群节点中，但我们希望最新的数据由于其写入和查询频繁的特性，只能保存在hot节点上，而过期的数据保存在warm节点上。 实现该功能，首先要对节点人为的打个标签，然后在索引创建时指定要把分片分配给hot节点，在索引不再写入后，迁移到warm节点上 1. 节点tag 依次启动三个节点，同时加入box_type和resource_level标签，box_type标记node1、node2为warm节点，node3为hot节点，resource_level标记机器资源的性能，分为高，中，低 bin/elasticsearch -d -p pid -E node.name=node1 -E node.max_local_storage

在Elasticsearch中的可以创建快照，它创建单个索引或整个群集到一个远程的存储库中。在以前的版本中，系统只支持共享存储的快照创建，最新的版本可以通过插件支持更多的方式。在执行快照操作前，需要在 Elasticsearch中进行注册快照仓库。注册仓库的设置需要执行仓库类型，例如： 请求：PUT /_snapshot/my_backup 参数： { "type": "fs", "settings": { ... repository specific settings ... } } 当注册后，可以通过查询来得到之前注册的信息。当然系统也支持用逗号分开来查询多个注册，支持通配符查询多个注册，甚至可以使用_all查询所有注册。 请求： GET / _snapshot / my_backup 返回值： { "my_backup": { "type": "fs", "settings": { "compress": "true", "location": "/mount/backups/my_backup" } } } 共享文件系统存储 ("type": "fs")使用共享文件系统来存储快照。为了注册共享的文件系统存储库，必须将同一个共享文件系统安装到所有主节点和数据节点上相同的位置上。这个位置（或它的父目录）必须在 所有主节点数据节点上 设置 path.repo参数

特邀嘉宾 分享主题 周四见|知数堂公开课系列 之 《企业大数据平台构建之路》 直播现场回顾 直播现场回顾 王晓伟，知数堂《 Hadoop+ELK 》课程讲师 课程涵盖 Hadoop系统 、 NoSQL（Hbase） Mapreduce 编程框架及实践 数据仓库与 数据分析 机器学习 及数据挖掘等内容 系统的学习将助你完善大数据 知识体系 那么，这次公开课或许会是一个起点 通过构建企业大数据平台这个主题 体验王老师睿智风趣的教学风格 或许，这会是你加入知数堂的一个契机 We want you！ 回放视频、PPT讲义已上线，快来围观~ 温馨提示：PPT的内容有限，建议结合PPT观看视频，效果更佳！ 资料发布 本次公开课的讲义，及录播的 视频均 可至腾讯课堂下载、查看，链接： https://zst.ke.qq.com/course/364261 （ 打开页面-查看任务-视频/PPT讲义均可观看） 扫描下方二维码识别 或者点击文末 “ 阅读原文 ” 直达腾讯课堂 扫码加入QQ技术交流群 知数堂公开课互动群 （QQ群号： 793818397） 本文分享自微信公众号 - 老叶茶馆（iMySQL_WX）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my

松哥原创的 Spring Boot 视频教程已经杀青，感兴趣的小伙伴戳这里--> Spring Boot+Vue+微人事视频教程 hello 各位小伙伴，Es 继续更新。从今天开始我们来看 Es 中常见的 23 种映射参数，由于这里涉及到的东西比较多，因此松哥也录制了多个视频来讲解，每次两集，估计可以分三次讲完，今天我们先来学习 analyzer、search_analyzer 以及 normalizer 三种映射参数。 本文是ElasticSearch 系列第十四篇，和大家聊一聊索引的基本操作，前十三篇传送门： 打算出一个 ElasticSearch 教程，谁赞成，谁反对？ ElasticSearch 从安装开始 ElasticSearch 第三弹，核心概念介绍 ElasticSearch 中的中文分词器该怎么玩？ ElasticSearch 索引基本操作 ElasticSearch 文档的添加、获取以及更新 ElasticSearch 文档的删除和批量操作 ElasticSearch 文档路由，你的数据到底存在哪一个分片上？ ElasticSearch 并发的处理方式：锁和版本控制 ElasticSearch 中的倒排索引到底是什么？ ElasticSearch 动态映射与静态映射 ElasticSearch 四种字段类型详解 ElasticSearch 中的地理类型和特殊类型

做 积 极 的 人 ， 越 努 力 越 幸 运 ！ 真的非常开心，『中间件兴趣圈』公众号粉丝数正式迈过1W大关，达成一个重要里程碑，笔者感慨真的不容易。 2018年10月19号通过公众号发布第一篇文章，到今天为止，公众号已经发表了145篇原创文章，坚持真的很难，但只要能坚持，就一定会有好的收获，这不，你瞧，1W个人与你一起同行，这成就不可谓不大。 在持续坚持努力下，我出版了《RocketMQ技术内幕》一书，从一家名不经传的小公司顺利跳槽到快递物流头部企业：中通快递，让我能在更高的平台上发光发热，使我深深的认识到： 越努力越幸运，唯有坚持不懈 。希望能用这句话与各位粉丝朋友共勉，相互交流，共同成长。 相信各位读者朋友们也能直观的感受到『中间件兴趣圈』主要发表的文章都比较枯燥，因为大部分都是以源码分析为主，认真读完一篇文章需要极大的耐心，我从后台的统计数据上看到，每篇文章的读完率其平均值在50%左右，这足以说明大家拥有强烈的求知欲望，这里必须有掌声，为各自点个赞吧。与各位优秀的读者同行，是我的一大荣幸，未来继续加油。 『中间件兴趣圈』的定位是记录笔者的学习历程与成长历程，同时也起到驱动笔者去学习，给自己提的要求是尽最大努力保证一周一篇原创文章。 绝不注水、绝不洗稿，这是我的初心也是底线。 『中间件兴趣圈』现阶段主要以源码分析为手段成体系剖析JAVA主流中间件

导语 小猴周末在家看了综艺节目《王牌对王牌》，对里面的猜歌曲环节饶有兴趣，主持人随便说一个字或词语，选手必须唱出包含该字或者词语的歌曲。小猴觉得太有意思了，今天上班准备和他猴哥过两招。 Elasticsearch 倒排索引 Elasticsearch是一个基于Lucene的搜索服务器， 它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch 能快速的匹配关键词，是因为它做了上面提到的倒排索引， 将 “狼牙月, 伊人憔悴, 我举杯饮尽了风雪” 将内容进行切词，key 与 value如下 Elasticsearch 切词 传统 Elasticsearch 内置了一些分词器 Standard Analyzer 。按词切分，将词小写 Simple Analyzer。按非字母过滤（符号被过滤掉），将词小写 WhitespaceAnalyzer。按照空格切分，不转小写 同时 分词器由 3部分组成： Character Filters（文本过滤器，去除HTML） Tokenizer（按照规则切分，比如空格） TokenFilter（将切分后的词进行处理，比如转成小写） 因为 Elasticsearch 是国外友人开发的，现在中文分词器用的最多的就是IK Elasticsearch 数据存储结构 下面就是完整的 倒排索引 ，例：索引 “月”

点击上方蓝字关注 👆👆 今天推荐一款神器，WEB前端助手：FeHelper chrome的插件，集json串格式化、代码美化、代码压缩、二维码生成、页面取色等于一身，强烈推荐大家安装使用。 JSON格式化： JS美化： 生成文字“我的小碗汤”二维码： 网页滚动截屏，这个功能很实用吧： markdown转换： 时间戳转换工具： 用JavaScript正则表达式匹配手机号： 其他功能大家可以下载安装体验。插件可以关注公众号后，回复 fehelper 获得。 最后我为大家收集了些学习资料，如果你准备入IT坑，励志成为优秀的程序猿，那么这些资源很适合你。可以选择自己喜欢的，在公众号后台回复 ： java 、 go 、 python 、 springcloud 、 elk、嵌入式 获得对应资源，如果获取到的链接失效，请后台回复。 同时我们组建了一个技术交流群，里面有很多大佬，会不定时分享技术文章，如果你想来一起学习提高，可以加我微信【211140918】备注【加群】，期待你的加入！ END 本文由“壹伴编辑器”提供技术支持由“壹伴编辑器”提供技术支持 推荐阅读： 推荐一款超好用的工具 四款神器，教你笑傲江湖 发送手机验证码实现 SpringMVC实现发送邮件 历史文章： 图形验证码实现 打印日志的几种方式 这个404你能解决吗？ mysql支持原生json使用说明