Elastic

1. 背景 实际使用过程中，发现ES内存使用量往往到达一定百分比后（通常比75%高一点），才开始下降，之后内存上升到这个值后，又下降，呈现一种波浪状态，内存检测API如下所示： GET /_nodes/stats/jvm 2. 调研 1、查看ES的中文权威指南，有这样一段描述 https://www.elastic.co/guide/cn/elasticsearch/guide/current/_monitoring_individual_nodes.html 可见，这里75%是一个很重要临界点，触发GC 2、后面阅读ES官方服务说明文档验证了上述现象 https://www.elastic.co/guide/en/cloud/current/ec-metrics-memory-pressure.html 我们知道，ES jvm的配置通常是基于 jvm.options这个配置文件，打开这个配置文件，我们可以看到： ## GC configuration -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly 通过查阅资料，这个参数是CMS垃圾收集器，当老年代达到75%的时候，触发CMS垃圾回收，这样一切都得到了说明 来源： oschina 链接：

由于业务扩展，原来的 4 台 elastic 架构已经不能支撑现在的日志流量，所以要对 elastic 进行节点扩展，扩展需求为 10 台机器，它们装同样的东西，配置基本一致，这时候就不能每台手动安装了，要进行批量安装，批量管理， ansible 不需要在机器上安装客户端，管理更简单，所以我选择了 ansible ，下面进入实战演示： 环境介绍 : Centos 7.3 Ansible 2. 4.2 Elasticsearch 6.6.0 IP：10.1.5.130-139 一． Expect批量免密认证 要实现 ansible批量部署，必须先实现ssh免密认证 1. 安装 expect yum -y install expect 2. 免密脚本 #!/bin/bash SERVERS=`cat /root/ip.list` #一行写一个IP PASSWD="123456" #root密码 function sshcopyid { expect -c " set timeout -1; spawn ssh-copy-id $1; expect { \"yes/no\" { send \"yes\r\" ;exp_continue; } #当显示yes/no时，交互输入yes \"password:\" { send \"$PASSWD\r\";exp_continue; } };

一、购买域名和阿里云ecs 首先，我们需要购买ecs，选择了1核1G的入门版，地域可以选择离你比较近的；在这里我们CentOS 6.5 64位操作系统； 如果你是学生，阿里云还有不错的体验价格，9.9一个月，性价比超高；打一波广告，阿里云这一点的确不错！ 购买域名也是需要实名认证的哦！ 购买完成，现在我们进入阿里云的控制台→云服务器ecs→实例（好了，不要怀疑了，这就是你的服务器）； 看到箭头所指向的方向，没错，这就是你的服务器的地址。弄个记事本记着哦！ 二、添加安全组规则 文中由于担心给ip打码会影响教程可读性，就没有打码了,还请大神放过！ 进入图中的安全组，添加安全组规则，图中的这些规则你可以参考都添加进去，只用添加入方向；一定要添加，不然会 影响到后面的操作步骤 三、服务器连接软件的安装和使用 好了，接下来我们就要开始连接服务器了，首先我们需要二个软件 XSHLL XFTP 你可以通过官网和软件市场去下载，为了省时间，都替你考虑好了： 当当当当！！链接： https://pan.baidu.com/s/1dFQ7EGL 密码：xwec 安装好了后就开始下一个步骤了 打开XSHEll；文件；新建；进入如图界面 默认用户名 root 密码 购买主机时创建的密码 按照图片的指引连接到你的服务器 Welcome to Alibaba Cloud Elastic Compute

Elastic APM安装教程 一、 CentOS设置 1. 更换阿里源 curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum makecache 2. 安装网络工具 yum install net-tools wget -y 3. 使用阿里NTP服务 yum install chrony -y sed -i "/server/d" /etc/chrony.conf vi /etc/chrony.conf 增加 server ntp.aliyun.com iburst systemctl restart chronyd chronyc tracking 4. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 5. 禁用Selinux vi /etc/selinux/config SELINUX=disabled 6. 关闭swap和禁用交换 swapoff -a sudo sysctl vm.swappiness=0 vi /etc/fstab #注释掉swap这行 vi /etc/sysctl.conf 添加如下 vm.swappiness = 0 论证是否生效 sudo sysctl

1. 背景 ES中的线程数以及核数主要体现在ES线程池使用上，见 https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-threadpool.html 2. processors 通过 GET /_nodes/os 可以查看各个节点processors分片情况 5.X版本，单个节点 allocated_processors 最多分配32核 最新的7.X版本已经没有这个限制， available_processors 和 allocated_processors 保持一致为最大可用核数 3. ES中的线程池 以thread_pool.search.size为例： 公式一：thread_pool.search.size = ( 3 * available_processors/2 ) +1 公式二：thread_pool.search. queue_size = 1000 1、只设置processors大小，ES会根据公式一计算出thread_pool.search.size，ES使用的CPU核数最大为min(系统最大核数，thread_pool.search.size) 2、只设置thread_pool.search.size大小，ES使用的CPU核数最大为min(系统最大核数，thread

docker安装Elasticsearch7.6集群并设置密码 Elasticsearch从6.8开始， 允许免费用户使用X-Pack的安全功能， 以前安装es都是裸奔。接下来记录配置安全认证的方法。 为了简化物理安装过程，我们将使用docker安装我们的服务。 一些基础配置 es需要修改linux的一些参数。 设置 vm.max_map_count=262144 sudo vim /etc/sysctl.conf vm.max_map_count=262144 不重启， 直接生效当前的命令 sysctl -w vm.max_map_count=262144 es的data和logs目录需要给1000的用户授权， 我们假设安装3个实力的es集群，先创建对应的数据存储文件 mkdir -p es01/data mkdir -p es01/logs mkdir -p es02/data mkdir -p es02/logs mkdir -p es03/data mkdir -p es03/logs ## es的用户id为1000，这里暂且授权给所有人好了 sudo chmod 777 es* -R 关于版本和docker镜像 Elasticsearch分几种licenses，其中Open Source和Basic是免费的， 而在6.8之后安全功能才开始集成在es的Basic授权上。

缘起 我接触 ES 的时间大约是2017年，最初是小打小闹，只是搭了个小的demo环境，用ES来存储给设备日志外加用Kibana做一些简单的可视化展示，自我娱乐和研究而已， 对于ES本身的知识也只是限于碎片化的学习。 2018~2019年是个逐渐井喷的阶段，那时候公司有几个千亿级日志收集和处理的项目开始上马，我作为项目架构师，自然要对Elastic stack玩得更加精深一点，于是便决心想要体系化的学习一下。正好在2019年7月极客时间推出了阮一鸣的ES7.1的视频课，那时便毫不犹豫的买了下来，2019年9月开始被assign到一个AIOps的项目中去，所以之后也只是断断续续的学习。 但也正是在那个AIOps的项目中，我对ES这个强大的数据平台及其与上下游周边系统的关系有了更加清晰的认识，今年年初老板同我谈起建设运维自动化平台的想法，于是想要拿下Elastic 认证的决心也就坚定了下来。 准备过程 Elastic 认证在业内素来有着难通过的“恶名”，而且因为考的全是实操题，所以如果自己没有动手实践的经验是肯定不能通过考试的。3个小时10个大题，每个题目必须分秒必争，也就意味着必须对ES中的各种概念有着非常深刻的理念，并且知道他们出现在官方文档的什么位置才行。抱着这个认识，我的复习准备之路一共分为3个阶段。 2.1 5月16日 到6月15日 第一阶段 今年5/1考完CKA认证后

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。构建在全文检索开源软件Lucene之上的Elasticsearch，不仅能对海量规模的数据完成分布式索引与检索，还能提供数据聚合分析。据国际权威的数据库产品评测机构DBEngines的统计，在2016年1月，Elasticsearch已超过Solr等，成为排名第一的搜索引擎类应用 概括：基于Restful标准的高扩展高可用的实时数据分析的全文搜索工具 ElasticSearch的基本概念 Index 类似于mysql数据库中的database Type 类似于mysql数据库中的table表，es中可以在Index中建立type（table），通过mapping进行映射。 Document 由于es存储的数据是文档型的，一条数据对应一篇文档即相当于mysql数据库中的一行数据row，一个文档中可以有多个字段也就是mysql数据库一行可以有多列。 　　 Field 　　es中一个文档中对应的多个列与mysql数据库中每一列对应 Mapping

0、题记 由于2019年Elastic开发者大会下午分3个会场，使劲浑身解数也只能串了两个分场，所以下面的分享肯定信息不全面。 全面信息后续建议参考Elastic中文社区的PPT。文中可能的细节错误，欢迎大家留言指正。 您的参会干货和认知习得，也欢迎留言讨论交流。 1、感触 从没有见过哪个大会，能干货连连、高潮此起彼伏、全程无尿点； 从没有见过哪个大会，与会者能持续葆有相当高的热情； 从没有见过哪个大会，过道里也站满了人专心听讲，且没有一个人喊累； 从没有见过哪个大会，嘉宾毫无保留的分享技术干货，即便部分内容打了马赛克，但技术细节没有过分阉割； 从没有见过哪个大会，与会讲者老师知无不言、言无不尽； 从没有见过哪个大会，所有人站着吃盒饭，还非常高兴； 从没有见过哪个大会，会后大家围着分享嘉宾问问题，直到主持人打断、直到开始下一场分享； 从没有见过哪个大会，大家走的时候不断回望，非常恋恋不舍，感叹时间过得太快。 ...... 这是Elastic一年一度的盛会，这是Elastic爱好者的朝圣日和狂欢日。 近距离接触，才能体会到开源的强大、分享的强大、社区的强大。 近距离接触，才能明白差距，很多一线大厂已远远走在技术的最前沿，在内核层、源码层、业务层做过大量的创新、优化实战。 ..... 感慨万千，无以言表..... 2、关键词 满满的一天行程下来，以下几个关键词一直在脑海回荡。 的确

重磅福利:开通vip 全站视频免费下载，季度vip只要38元，只是几包烟的价格，就能享受慕课网，极客时间，麦子学院等机构全部视频，等什么了，童鞋！！！ 点击开通VIP 说明：1人民币 = 10金币 IT猿课(www.ityuanke.com) [it猿课]编程论坛jksj超清视频课72-Elasticsearch核心技术与实战 第一章：概述 (4讲)  01 | 课程介绍 免费 02 | 内容综述及学习建议 免费 03 | Elasticsearch简介及其发展历史 免费 04 | Elastic Stack家族成员及其应用场景 免费 第二章：安装上手 (4讲)  05 | Elasticsearch的安装与简单配置 免费 06 | Kibana的安装与界面快速浏览 07 | 在Docker容器中运行Elasticsearch Kibana和Cerebro 08 | Logstash安装与导入数据 第三章：Elasticsearch入门 (15讲)  09 | 基本概念：索引、文档和REST API 10 | 基本概念：节点、集群、分片及副本 11 | 文档的基本CRUD与批量操作 12 | 倒排索引介绍 13 | 通过Analyzer进行分词 14 | Search API概览 15 | URI Search详解 16 | Request Body与Query DSL简介