Elastic

在容器化的应用场景中，大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域，包括越来越多的人工智能企业，都在使用容器技术来支持业务中的大量计算任务。降低成本、提升资源利用率也是当前这部分用户非常期待而又迫切的需求。 那么，容器的 Serverless 化的出现，可以很大程度上帮助大数据计算需求的用户迅速解决这些问题。为此， 腾讯云推出了弹性容器 EKS 的解决方案，甚至可以达成离线计算业务的成本降低 65%。 腾讯云弹性容器服务 EKS（Elastic Kubernetes Service），自 2019 年上线以来已为上百家企业提供 Serverless 容器应用托管服务。 EKS 具备以下优势特性： 无服务器，运维简单，只需专注于应用本身 秒级扩容，1 分钟可扩容数千容器 显著提升容器资源利用率，在线容器 > 50%，离线容器 > 90% 基于容器真实运行的时间和运行时期申请的算力【按量计费】，降低资源使用成本 EKS 致力于为企业提供高性价比的 Kubernetes 服务，为了更好的降低客户成本压力，EKS 在原有的按量计费实例上， 推出「竞价实例」，成本只需要按量付费实例的 10%～20% ，便可以做到大幅度降低用户的资源成本。 新的计费方式：竞价实例，成本只要原先的 2 折！ 什么是竞价实例？ 竞价实例来自公有云资源中某段时间内的空闲资源 ，其「使用」和按量计费的

注 ：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念，经过一番苦思冥想后终于有了我自己的理解。 0. 正则化（Regularization ） 前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做 正则化项 （regularizer）。在线性回归模型中，通常有两种不同的正则化项： 加上所有参数（不包括$\theta_0$）的绝对值之和，即$l1$范数，此时叫做Lasso回归； 加上所有参数（不包括$\theta_0$）的平方和，即$l2$范数，此时叫做岭回归. 看过不少关于正则化原理的解释，但是都没有获得一个比较直观的理解。下面用代价函数的图像以及正则化项的图像来帮助解释正则化之所以起作用的原因。 0.1 代价函数的图像 为了可视化，选择直线方程进行优化。假设一个直线方程以及代价函数如下： $\hat{h}_{\theta} = \theta_0 + \theta_1 x$，该方程只有一个特征$x$，两个参数$\theta_0$和$\theta_1$ $J(\theta) = \frac{1}{m} \sum_{i=1}

Elastic Search 的底层是开源库 Lucene。但是Lucene的使用门槛比较高，必须自己写代码去调用它的接口。而Elastic Search的出现正是为了解决了这个问题，它是 Lucene 的封装，提供了 REST API 的操作接口，我们可以开箱即用。 环境 JDK版本：8 SpringBoot:2.x ES版本：7.1.1 依赖 <!-- 集成es client，并排除低版本依赖(5.6) --> < dependency > < groupId > org.elasticsearch.client </ groupId > < artifactId > elasticsearch-rest-high-level-client </ artifactId > < version > 7.1.1 </ version > < exclusions > < exclusion > < groupId > org.elasticsearch </ groupId > < artifactId > elasticsearch </ artifactId > </ exclusion > < exclusion > < groupId > org.elasticsearch.client </ groupId > < artifactId > elasticsearch

背景 众所周知，Elasticsearch是⼀个实时的分布式搜索引擎，为⽤户提供搜索服务。当我们决定存储某种数据，在创建索引的时候就需要将数据结构，即Mapping确定下来，于此同时索引的设定和很多固定配置将不能改变。 <!-- more --> 那如果后续业务发生变化，需要改变数据结构或者更换ES更换分词器怎么办呢？为此，Elastic团队提供了很多通过辅助⼯具来帮助开发⼈员进⾏重建索引的方案。 如果对 reindex API 不熟悉，那么在遇到重构的时候，必然事倍功半，效率低下。反之，就可以方便地进行索引重构，省时省力。 步骤 假设之前我们已经存在一个blog索引，因为更换分词器需要对该索引中的数据进行重建索引，以便支持业务使用新的分词规则搜索数据，并且尽可能使这个变化对外服务没有感知，大概分为以下几个步骤：​ 新增⼀个索引 blog_lastest ，Mapping数据结构与 blog 索引一致 将 blog 数据同步至 blog_lastest 删除 blog 索引 数据同步后给 blog_lastest 添加别名 blog 新建索引 在这里推荐一个ES管理工具 Kibana ，主要针对数据的探索、可视化和分析。 put /blog_lastest/ { "mappings":{ "properties":{ "title":{ "type":"text",

一、前言 在 Elasticsearch 的日常中，有很多如存储 系统日志 、 行为数据 等方面的应用场景，这些场景的特点是数据量非常大，并且随着时间的增长 索引 的数量也会持续增长，然而这些场景基本上只有最近一段时间的数据有使用价值或者会被经常使用（热数据），而历史数据几乎没有作用或者很少会被使用（冷数据），这个时候就需要对 索引 进行一定策略的维护管理甚至是删除清理，否则随着数据量越来越多除了浪费磁盘与内存空间之外，还会严重影响 Elasticsearch 的性能； 在 Elastic Stack 6.6 版本后推出了新功能 Index Lifecycle Management(索引生命周期管理) ，支持针对索引的全生命周期托管管理，并且在 Kibana 上也提供了一套 UI 界面来配置策略。本文主要介绍 Elasticsearch 索引生命周期管理如何配置和使用。 二、生命周期 2.1. 阶段介绍 索引生命周期分为4个阶段：hot、warm、cold、delete，其中hot主要负责对索引进行rollover操作。 rollover：滚动更新创建的新索引将添加到索引别名，并被指定为写索引。 PS ：4个阶段中只有hot阶段是必须的 索引根据时间参数min_age进入生命周期阶段，若未设置，默认是0ms。min_age通常是从创建索引的时间开始计算，如果索引被设置为滚动索引

一个好习惯——每年至少更新一次自己的简历，而不是等到找工作才写简历。 1、简历是随时间、产品开发或项目经历积累出来的，不是现写的 项目结束或者产品发布后的当天晚上是最佳时机！！越往后，记忆曲线决定信息丢失率越高！ 一页 ppt 或者一页A4纸肯定就能介绍清楚，如果还不够，说明：还需要提炼。 如果：写不出来东西，你该反思了？？ 这个项目一点收获没有吗？ 架构能力、设计、开发、运维、管理提升的点都是可以写的点。 2、人的记忆周期是有限的，总结要写出来，单靠脑子不灵 哪怕你负责的项目、你带过的团队，三年、五年后，你可能会连项目名都不记得了。 别拖延，哪怕你有拖延症。 面试别人的时候，问到一个项目经历，经常收到的回复：这个项目比较久了，忘记了。 我一般会进一步思考：忘记了可以不写，但一旦写了，你就得能讲出来！！这很重要。 所谓：重点突出、详略得当也大抵不过如此！ 3、简历准备重点突出什么，你就积累什么 包含不限制： 第一：项目背景（概述）； 第二：使用技术； 第三：我负责内容（团队人数）和工作亮点（最多三个）。 4、写完后，要自己能复述出来 咱们程序员通病：写代码可以，和测试吵架可以。 但，你让我概括讲出来我做的项目？不行，不会讲。 能写出来已经很不错，但再能讲出来，就更厉害了。 现在不讲，面试就很容易支支吾吾，影响整体面试体验。 5、简历的确需要常写常新 找到靠谱的模板，至少每年更新一次

接个任务，为某公司内网安装一套Elastic APM, 用于监测内网运行的各类项目。 因为是内网服务器，无法连接内网，选择使用压缩包方式安装部署。 服务器环境: linux Redhat7 step1: 从官网下载相关压缩包，并使用XFTP上传到内网服务器中。 官网下载地址: 选择linux 64-BIT版本,版本号为7.0.3 https://www.elastic.co/cn/downloads/ https://www.elastic.co/cn/downloads/apm step2: 安装jdk11.0.4 从官网下载jdk11.0.4，解压后，设置 /etc/profile vim /etc/profile 添加 export JAVA_HOME=/usr/es/elk_apm/jdk-11.0.4 export PATH=$PATH:$JAVA_HOME/bin 运行 source /etc/profile step3: 切换到root账号，新建一个账号es，并授予root用户权限。（Elastic search默认不支持root账户启动） 添加es用户组 groudadd es 添加es用户 useradd es 添加es用户密码 passwd es 如果在添加过程中出现could not change to group 错误，请查阅 https://blog

Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 是当下最先进、高性能、全功能的搜索引擎库。但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中， 并且可能需要获得信息检索才能了解其工作原理。 Elasticsearch 也是使用 Java 编写的，它的内部使用 Lucene 做索引与搜索，但是它的目的是使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎。 它可以被下面这样准确的形容： 一个分布式的实时文档存储， 每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 Elasticsearch 将所有的功能打包成一个单独的服务，这样你可以通过程序与它提供的简单的 RESTful API 进行通信， 可以使用自己喜欢的编程语言充当 web 客户端，甚至可以使用命令行（去充当这个客户端）。 下载地址： www.elastic.co/downloads Tar方式安装： curl -L -O https://artifacts

//--> 本文分享自微信公众号 - Elastic中文社区（elastic-cn）。 如有侵权，请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”，欢迎正在阅读的你也加入，一起分享。 来源： oschina 链接： https://my.oschina.net/u/569210/blog/4435206

前言 前文介绍了Spring Bean的生命周期，也算是XML IOC系列的完结。但是Spring的博大精深，还有很多盲点需要摸索。整合前面的系列文章，从Resource到BeanDefinition，再到容器扩展点，最后到Bean创键，这个过程中无处不存在Spring预留的扩展口。 本篇文章介绍Spring的另一种扩展点：BeanDefinition扩展点，该扩展点是为处理BeanDefinition而设计。本文主要从以下几点分析： BeanDefinition扩展点的几种方式 BeanDefinition扩展点实战 BeanDefinition扩展点的原理 BeanDefinition扩展点的几种方式 Spring中针对向上下文中添加BeanDefinition、修改上下文中的BeanDefinition可谓是提供了丰富的扩展点。既有针对XML配置的，又有针对注解配置的Bean，甚至还有自定义XML标签的。这里总结了，共有以下几种方式： BeanDefinitionRegistryPostProcessor方式 BeanFactoryPostProcessor方式 ImportBeanDefinitionRegistrar方式 BeanDefinitionParser方式 BeanDefinitionRegistryPostProcessor方式 从命名上也可以看出一些端倪