Elastic

　　　　 最近在用docker 安装elasticsearch + kibana 遇到了很多坑，最后成功安装elasticsearch + kibana （6.8.1）版本 　　 安装了一下午，现总结过程中遇到的各种坑，希望能帮助需要的朋友！ 本文较长，要有耐心哦！ 话不多说，博主阿里云服务器CentOS 7.6 第一步：安装docker 参考链接 https://www.cnblogs.com/yufeng218/p/8370670.html 第二步：docker 安装elasticsearch 　 大坑1 ：博主安装了多个elasticsearch 版本，查找了很多资料，第一次安装elasticsearch 7.1.1版本，安装之后启动elasticsearch 后各种问题如下： 　　错误1：bootstrap checks failed [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] [2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discover 　

注 ：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念，经过一番苦思冥想后终于有了我自己的理解。 0. 正则化（Regularization ） 前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做 正则化项 （regularizer）。在线性回归模型中，通常有两种不同的正则化项： 加上所有参数（不包括$\theta_0$）的绝对值之和，即$l1$范数，此时叫做Lasso回归； 加上所有参数（不包括$\theta_0$）的平方和，即$l2$范数的平方，此时叫做岭回归. 看过不少关于正则化原理的解释，但是都没有获得一个比较直观的理解。下面用代价函数的图像以及正则化项的图像来帮助解释正则化之所以起作用的原因。 0.1 代价函数的图像 为了可视化，选择直线方程进行优化。假设一个直线方程以及代价函数如下： $\hat{h}_{\theta} = \theta_0 + \theta_1 x$，该方程只有一个特征$x$，两个参数$\theta_0$和$\theta_1$ $J(\theta) = \frac{1}{m} \sum_{i

前情提要 1.产品增加了日志字段 ，其中包含中文，相应的fork patterns也需要修改 Patterns # Grok Pattern %{NOTSPACE:resp_msg} # Custom Patterns NOTSPACE \S* 测试工具以及参考链接 a Ruby regular expression editor logstash grok-patterns 来源： oschina 链接： https://my.oschina.net/venn0126/blog/4354770

前面几章蜻蜓点水的介绍了elasticsearch、apm相关的内容。本片主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统 背景 在企业级的微服务环境中，跑着成百上千个服务都算是比较小的规模了。在生产环境上，日志扮演着很重要的角色，排查异常需要日志，性能优化需要日志，业务排查需要业务等等。然而在生产上跑着成百上千个服务，每个服务都只会简单的本地化存储，当需要日志协助排查问题时，很难找到日志所在的节点。也很难挖掘业务日志的数据价值。那么将日志统一输出到一个地方集中管理，然后将日志处理化，把结果输出成运维、研发可用的数据是解决日志管理、协助运维的可行方案，也是企业迫切解决日志的需求。 我们的解决方案 通过上面的需求我们推出了日志监控系统。 日志统一收集、过滤清洗。 生成可视化界面、监控，告警，日志搜索。 功能流程概览 在每个服务节点上埋点，实时采集相关日志。 统一日志收集服务、过滤、清洗日志后生成可视化界面、告警功能。 我们的架构 日志文件采集端我们使用filebeat,运维通过我们的后台管理界面化配置，每个机器对应一个filebeat，每个filebeat日志对应的topic可以是一对一、多对一，根据日常的日志量配置不同的策略。除了采集业务服务日志外，我们还收集了mysql的慢查询日志和错误日志,还有别的第三方服务日志，如:nginx等

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 下载 https://www.elastic.co/cn/downloads/past-releases#elasticsearch 安装 # tar -zxvf elasticsearch-6.2.2.tar.gz //解压 # mv /opt/tools/elasticsearch-6.2.2 /opt/elasticsearch 说明：移动到/opt/elasticsearch下 配置 # vi /opt/elasticsearch/config/elasticsearch.yml 说明：可以使用默认配置 设置 # vi /usr/lib/systemd/system/elasticsearch.service [Unit] Description=elasticsearch [Service] User=roncoo LimitNOFILE=65536 LimitNPROC=65536 ExecStart=/opt

ELK简介 1.ElasticSearch简称ES，它是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。 2.Logstash是一个具有实时传输能力的数据收集引擎，用来进行数据收集（如：读取文本文件）、解析、过滤，并将数据发送给ES。 3.Kibana为 Elasticsearch 提供了分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找，交互数据，并生成各种维度表格、图形。 环境准备 cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core) 角色划分 NODE IP（自己设置） 节点类型 elk-node1 192.168.1.123 数据、主节点（安装elasticsearch、logstash、kabana、filebeat） elk-node2 192.168.1.124 数据节点（安装elasticsearch、filebeat) elk-node3 192.168.1.125 数据节点（安装elasticsearch、filebeat） 安装jdk11 (两种安装方式) ------------------------------二进制安装--------

前言 弹性伸缩是Kubernetes中比较常用的功能。在Kubernetes中，弹性是分为两个层次的，一个是调度层（Pod）弹性，一个是资源层（Node）弹性。通常会通过HPA、CronHPA、VPA等模型进行Pod的横向或者纵向的伸缩，再通过 cluster-autoscaler 或者 virtual-kubelet 进行资源层伸缩。两层之间是通过无法调度的 Pod 进行解耦，这样设计的好处是两层职责明确，坏处是解耦后相互结合的策略过于简单，一旦当我们需要更精细的调度策略就无能为力了，因为在Kubernetes中最小的生命周期管理单元是一个Pod，而传统的Kubernetes负载控制器（例如：Deployment、StatefulSet）管理的Pod是共享相同的调度策略的。因此，当你希望控制一个负载在不同资源上的细粒度分配时，就无能为力了。然而这种场景又是在弹性伸缩中经常遇到的。因此，为了解决应用负载弹性场景下精细化调度的诉求， kubernetes-elastic-workload 应运而生了。 弹性伸缩精细化调度的问题分析 假设：有一个应用经过容量规划，预计最多有4个副本运行在ECS上，平时低峰时保留2个副本，超过4个副本的场景弹性伸缩到虚拟节点，防止干扰其他正常容量规划的应用。 在Kubernetes中，任何一种负载都要解决两个问题，一个是调度问题，一个是生命周期管理问题

原创 数据库开发技术 作者： 小米运维 时间：2018-12-13 17:10:44 6260 0 本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。 上篇文章回顾：看示例学awk 一、5.x中ES-SQL用法 Elasticsearch 5.x版本中，SQL功能还没有集成到Elasticsearch源码中，需要下载第三方插件后才能使用，配置过程如下： 1.安装ES-SQL依赖node npm ES-SQL 5.x版本以后，安装需要依赖node和npm，先安装node和npm，安装后在检查node及npm的安装，命令如下： 1 2 3 yum -y install nodejs npm node -v　 npm -v 2.下载ES-SQL并安装 然后切换到ES的根目录下，执行如下命令，下载并安ES-SQL插件： 1 ./bin/elasticsearch-plugin install https: //github.com/NLPchina/elasticsearch-sql/releases/download/5.6.30/.elasticsearch-sql-5.6.3.0.zip 离线包安装可以执行： ./bin/elasticsearch-plugin install file:

1.在linux上安装jdk8 2.在官网（https://www.elastic.co/downloads/elasticsearch）上下载最新elasticsearch版本，目前的版本是6.6.2，下载地址为：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz 3.进入/usr/local/src路径： wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz tar -zxvf elasticsearch-6.6.2.tar.gz mv elasticsearch-6.6.2.tar.gz /usr/local 4.创建非root用户启动elasticsearch，因为elasticsearch不允许以root用户启动 groupadd esgroup useradd esuser -g esgroup -p flzx3QC chown -R esuser:esgroup /usr/local/elasticsearch-6.6.2 5.切换到esuser目录下,并更改es的配置文件 su esuser vim conf/elasticsearch.yml

本文书接前回《ELK搭建实时日志分析平台之一ElasticSearch》 文：铁乐与猫 四、安装Logstash logstash是一个数据分析软件，主要目的是分析log日志。 1）下载和解压logstash 下载地址： https://www.elastic.co/cn/downloads/logstash 上传到服务器/usr/ELK目录后，解压：sudo tar -zxvf logstash-6.1.3.tar.gz 我下的这个6.1.3版本的logstash tar包大小有110多M了。 修改属主权限：sudo chown -R elsearch:ELK logstash-6.1.3 2）准备一个适合的配置文件：logstash.conf 可以参考官网给出的示例配置文件： 测试一段syslog日志文本。 cd logstash-6.1.3 sudo vim logstash-sample.conf 在logstash主目录创建配置文件logstash-sample.conf， 内容如下： input { stdin { type => "syslog" } } filter { } output { elasticsearch { hosts => "192.168.251.20:9200" } stdout { codec => rubydebug } } 保存,修改权限