logstash

1.查询模板 GET _template/logstash #! Deprecation: [types removal] The parameter include_type_name should be explicitly specified in get template requests to prepare for 7.0. In 7.0 include_type_name will default to 'false', which means responses will omit the type name in mapping definitions. { "logstash" : { "order" : 0, "version" : 60001, "index_patterns" : [ "logstash-*" ], "settings" : { "index" : { "refresh_interval" : "5s" } }, "mappings" : { "_default_" : { "dynamic_templates" : [ { "message_field" : { "path_match" : "message", "mapping" : { "norms" : false, "type" : "text" }, "match

前言 在众多搜索引擎中，solr,es是我所知道其他公司最为广泛使用的中间件。他可以解决你复杂的搜索需求。当你需要在大量数据的情况下搜索一下关键字,使用mysql的like查询是非常缓慢的,而es可以做到近实时的搜索。 背景 我们公司最近对我们的fungo的游戏,用户,文章提出了更加复杂的搜索要求，要求对指定的关键字进行相似度匹配。 例如 搜索 ‘fungo小助手’ 搜索的结果应该含有fungo小助手，还应有只含有fungo关键字的东西,还应有只含有小助手关键字的东西。并且根据所含元素的多少，进行优先排名。 面对这些需求,以我对mysql和现在java框架的了解，无法解决这个问题。使用mysql的like功能只能检索到‘fungo小助手’的关键字。所以百度一下主流的解决方案。发现大部分公司都会使用solr和es这些搜索框架，来作为中间件解决复杂搜索功能。 知识准备 node 节点 就是一個es实例。 cluster 集群 集群健康 green yellow red 主节点 主资格节点的主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康是非常重要的，默认情况下任何一个集群中的节点都有可能被选为主节点，索引数据和搜索查询等操作会占用大量的cpu，内存，io资源，为了确保一个集群的稳定

文章转载自： https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484454&idx=1&sn=43e95a27bd8635b73d78a23db79407fe&chksm=eaa82c0edddfa518e979b4b4fe5f6b6cf933b30f6177c663bb006148e5a1ef0d47684a8aac92&scene=21#wechat_redirect 1、别名分类 别名在Elasticsearch中有两种分类。 1.1 索引别名 官方释义： 索引别名可以指向一个或多个索引，并且可以在任何需要索引名称的API中使用。 别名为我们提供了极大的灵活性。它们允许我们执行以下操作： 1）在正在运行的集群上的一个索引和另一个索引之间透明切换； 2）对多个索引进行分组组合（例如，lastthreemonths的索引别名：是过去3个月索引 logstash201903, logstash201904, logstash_201905的组合）； 3）在索引中的文档子集上创建“视图”（结合业务场景，会提升检索效率）。 通俗解释： 索引别名类似：windows的快捷方式，linux的软链接，mysql的视图。 前提：Elasitcsearch创建索引后，索引名不允许改。很多业务场景下单一索引可能无法满足要求。

文章转载自： https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484584&idx=1&sn=accfb65830255f00c28ac1571725e493&chksm=eaa82c80dddfa596bef19161d713fe935142eda894f11d065a38495cd3e7ec59157403c5393f&scene=21#wechat_redirect 1、 引言 业务场景1：数据量非常大，需要进行索引生命周期管理，按日期划分索引，要求多个索引的Mapping一致，每次手动创建或者脚本创建都很麻烦！ 怎么破？ 业务场景2：实际业务多个索引，想让多个索引中的相同名字的字段类型完全一致，以便实现跨索引检索。怎么破？ 思考上面两个问题，当单Mapping不能解决多索引问题时，模板的作用就体现出来了。 下文中：模板=template，映射=Mapping。 2、Elasticsearch模板是什么鬼？ 【维基百科】模板：或称样板、范本，通常指具有固定内容、可构建多个不同实例的可重用样板。 Elasticsearch索引template指：在创建新索引时将自动套用的模板。 直接上样例，一探究竟。 1 PUT _template/template_1 2{ 3 "index_patterns": ["te

角色划分 在Elasticsearch中，有很多角色，常用的角色有如下： Master Node ：主节点 Master eligible nodes ：合格节点 Data Node ：数据节点 Coordinating Node ：协调节点 Ingest Node ：ingest节点 三种角色由elasticsearch.yml配置文件中的node.master、node.data等来控制 Master Node ：主节点，该节点不和应用创建连接，每个节点都保存了集群状态，master节点不占用磁盘IO和CPU，内存使用量一般。 Master eligible nodes ：合格节点，每个节点部署后不修改配置信息，默认就是一个 eligible 节点，该节点可以参加选主流程，成为Mastere节点。该节点也保存了集群节点的状态。eligible节点比Master节点更节省资源，因为它还未成为 Master 节点，只是有资格成功Master节点。 Data Node ：数据节点，该节点和索引应用创建连接、接收索引请求，该节点真正存储数据，ES集群的性能取决于该节点的个数（每个节点最优配置的情况下），data节点会占用大量的CPU、IO和内存。 Coordinating Node ：协调节点，该节点和检索应用创建连接、接受检索请求，但其本身不负责存储数据，可当负责均衡节点

Kibana 使用教程 Kibana 是什么 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。 下面分别演示一下 Kibana(7.8.1 版本 ) 的自定义索引，搜索，控制台调用 es 的 api 和可视化等操作，特别需要注意的是，控制台可以非常方便的来调用 es 的 api ，强烈推荐使用。 如何加载自定义索引 访问本地 kibana 路由 http://27.0.0.1:5601/app/kibana#/home 展开左侧边栏，点击 【 Stack Management 】 点击 【 Index Pattern 】，再点击 【 Create index pattern 】 按钮 输入索引名字，可以支持模糊查询字符 *，注意不能使用空格和特殊字符 \, /, ?, ", <, >, | .。点击下一步【Next step】 Logstash 数据集会包含时间序列数据，所以确保 Time-field name 下拉列表中选择 @timestamp 字段。点击【 Create index pattern 】。索引创建成功。 搜索数据 使用一下 kibana 查看索引数据。点击左侧边栏【

官网下载：logstash、kibana、elas； 在server端： 安装logstash：rpm包方式，最新版本 /etc/logstash/conf.d/下，创建个配置文件，用来收集client端的日志信息： #vim server.conf input { #配置输入信息及方式； redis { port => "6379" host => "10.6.22.75" data_type => "list" key => "logstash-redis" type => "redis-input" } } output { #配置数据信息收集并输出到elasticsearch elasticsearch { hosts => "10.6.22.75" index => "logstash-%{+YYYY.MM.dd}" } } 安装elas： tar.gz包格式，解压出来到任意目录后，到config下面，编辑配置文件 elasticsearch.yml ，修改如下信息： path.logs: /data/log/ path.data: /data/el_data/ http.port: 9200 network.host: 10.6.22.75 如果是单节点就如上配置，多节点就需要配置集群模式； 到bin目录下，编辑启动文件 elasticsearch

本文将介绍微服务架构和相关的组件，介绍他们是什么以及为什么要使用微服务架构和这些组件。本文侧重于简明地表达微服务架构的全局图景，因此不会涉及具体如何使用组件等细节。 为了防止不提供原网址的转载，特在这里加上原文链接： https://www.cnblogs.com/skabyy/p/11396571.html 要理解微服务，首先要先理解不是微服务的那些。通常跟微服务相对的是单体应用，即将所有功能都打包成在一个独立单元的应用程序。从单体应用到微服务并不是一蹴而就的，这是一个逐渐演变的过程。本文将以一个网上超市应用为例来说明这一过程。 最初的需求 几年前，小明和小皮一起创业做网上超市。小明负责程序开发，小皮负责其他事宜。当时互联网还不发达，网上超市还是蓝海。只要功能实现了就能随便赚钱。所以他们的需求很简单，只需要一个网站挂在公网，用户能够在这个网站上浏览商品、购买商品；另外还需一个管理后台，可以管理商品、用户、以及订单数据。 我们整理一下功能清单： 网站 用户注册、登录功能 商品展示 下单 管理后台 用户管理 商品管理 订单管理 由于需求简单，小明左手右手一个慢动作，网站就做好了。管理后台出于安全考虑，不和网站做在一起，小明右手左手慢动作重播，管理网站也做好了。总体架构图如下： 小明挥一挥手，找了家云服务部署上去，网站就上线了。上线后好评如潮，深受各类肥宅喜爱