Elastic

腾讯云 CKafka 作为大数据架构中的关键组件，起到了数据聚合，流量削峰，消息管道的作用。在 CKafka 上下游中的数据流转中有各种优秀的开源解决方案。如 Logstash，File Beats，Spark，Flink 等等。本文将带来一种新的解决方案：Serverless Function。其在学习成本，维护成本，扩缩容能力等方面相对已有开源方案将有优异的表现。 作者简介：许文强，腾讯云 Ckafka 核心研发，精通 Kafka 及其周边生态。对 Serverless，消息队列等领域有较深的理解。专注于 Kafka 在公有云多租户和大规模集群场景下的性能分析和优化、及云上消息队列 serverless 化的相关探索。 Tencent Cloud Kafka 介绍 Tencent Cloud Kafka 是基于开源 Kafka 引擎研发的适合大规模公有云部署的 Cloud Kafka。是一款适合公有云部署、运行、运维的分布式的、高可靠、高吞吐和高可扩展的消息队列系统。它 100% 兼容开源的 Kafka API，目前主要支持开源的 0.9, 0.10, 1.1.1, 2.4.2 四个大版本 ，并提供向下兼容的能力。 目前 Tencent Cloud Kafka 维护了超过 4000+ 节点的集群，每日吞吐的消息量超过 9 万亿+条，峰值带宽达到了 800GB+/s,

目录 Elastic Cloud Kubernetes 支持的版本 在Kubernetes集群中部署ECK 部署ELasticsearch集群 创建PV 部署ES集群 监控集群的健康状态和创建过程 访问ES集群 JVM堆设置 Node配置 卷声明模板 虚拟内存 定制配置文件和插件 部署Kibana 创建kibana实例并关联es集群 监控kibana健康状态和创建过程 连接kibana 总结 Elastic Cloud Kubernetes Elastic Cloud Kubernetes （ECK）是Elastic官方推出的，基于k8s operator的插件，其扩展了k8s的基础编排功能，可以轻松地在k8s中安装、管理 Elasticsearch, Kibana 和 APM集群。 借助ECK，我们可以简化以下关键操作： 管理和监控多个集群 扩大或缩小集群规模 改变集群配置 计划备份 使用TLS证书保护集群安全 建立具有可用区域意识的hot-warm-cold架构 支持的版本 kubectl 1.11+ Kubernetes 1.12+ or OpenShift 3.11+ Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service

什么是 AWS EC2 Amazon Elastic Compute Cloud (Amazon EC2) 直译过来是一种可伸缩的计算云，提供了广泛的实例类型选择，这些实例类型经过优化以适应不同的用例，实例类型包括CPU、内存、存储和网络容量的不同组合，使我们能够灵活地为应用程序选择适当的资源组合。每个实例类型包括一个或多个实例大小，允许您将资源扩展到目标工作负载的需求。这里是 EC2 实例类型一览表 ，截部分图在这里展示 说简单一点: EC2 就是一个按照你需求配置的虚拟机，如果你需要在虚拟机上做 CPU 密集型的任务，那就选高 CPU 低内存的实例，如果是 I/O 密集型的，那就选择低 CPU 高内存的实例，花最少的钱满足提供最贴合你需要的服务 在 EC2 上安装 Apache 服务 有了这个基本的了解过后，我们就可以在 EC2 上安装 Apache 服务来进一步了解 EC2 前置准备 由于自己开通了 AWS free tier（绑定信用卡），可以免费玩 12 个月，如果你也这样做，建议 设置好账单阈值 ，当使用了产生费用的服务时，会给你提醒，以防产生过多开销 新建 EC2 点击下图 Launch Instance 按钮新建 EC2 实例 新建 EC2 实例主要按照下图上方的七步完成，首先是选择 AMI (Amazon Machine Images), 其实就像选择操作系统

Elasticsearch定义 elastic(弹性、灵活）+search（搜索） Elasticsearch 是一个支持分布式、高扩展、高实时的高效搜索与数据分析引擎。 支持分布式实时文件存储。 支持将字段值都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 Elasticsearch 的实现原理主要分为以下几个步骤 用户将数据提交到Elasticsearch 数据库中。 es通过分词控制器去将对应的语句分词。（这里如需更高级的策略优化，后期可以替换分词器）。 将其权重和分词结果一并存入数据库。 当用户搜索数据时候，根据权重将结果排名，打分（相关度）。 将返回结果呈现给用户。 有关概念 cluster：代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 shards：代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定，并且索引创建后不能更改。 replicas：代表索引副本

对于现有的成本优化的 问题，最常见的“解决方案”是调整大小，计划和购买预留实例以实现可预测的工作负载。 这三个“解决方案”可能是大多数AWS用户熟悉的AWS成本优化最佳实践，但不一定是“最佳”实践。有时，他们无法节省声称的成本的一小部分，而许多其他通常被忽视的AWS成本优化最佳实践可以节省更多。 10种AWS成本优化最佳实践 1.调整EC2实例的大小 正如我们已经提到的调整大小，调度和保留实例一样，让我们从这三个AWS成本优化最佳实践开始。调整大小的目的是使实例大小与其工作负载相匹配。不幸的是，由于实例的容量每增加一倍，容量就不能那样工作。 因此，只有在某些实例的峰值利用率不超过〜45％的情况下，调整大小才是值得的最佳实践。仍然值得分析利用率指标，以寻找机会将工作负载转移到更适合其需求的不同系列（“通用”之外）。 解决方案： 在某些实例的峰值利用率（最好是结合CPU和内存一起）不超过〜45％的情况下，调整大小才是值得的最佳实践 2.安排开/关时间 值得安排非生产实例（例如用于开发和测试的实例）的开/关时间，因为如果您应用“按时”计划（从上午8.00到8.00），您将节省运行这些实例的65％的时间下午星期一到星期五。但是，可以节省更多的钱，尤其是如果开发团队以不规则的方式或不规则的时间工作。 您可以通过分析利用率指标来确定更经常使用的实例，从而应用更为激进的调度

pip install elasticsearch https://blog.csdn.net/yjclsx/article/details/81302041 https://www.elastic.co/downloads/elasticsearch 来源： oschina 链接： https://my.oschina.net/u/4308764/blog/4284199

本文以Elasticsearch 6.8.4版本为例，介绍Elasticsearch父子文档的使用。 上一篇文章介绍了Elasticsearch的嵌套文档，这一篇来介绍另外一种关系文档，父子文档。 1、父子文档 父子文档在理解上来说，可以理解为一个关联查询，有些类似MySQL中的JOIN查询，通过某个字段关系来关联。 父子文档与嵌套文档主要的区别在于，父子文档的父对象和子对象都是独立的文档，而嵌套文档中都在同一个文档中存储，如下图所示： 这里引用官网的话，对比嵌套文档来说，父-子关系的主要优势有： 更新父文档时，不会重新索引子文档。 创建，修改或删除子文档时，不会影响父文档或其他子文档。这一点在这种场景下尤其有用：子文档数量较多，并且子文档创建和修改的频率高时。 子文档可以作为搜索结果独立返回。 1.1 创建索引 这里还是以嵌套文档的数据为例，假设数据如下： [ { "title":"这是一篇文章", "body":"这是一篇文章，从哪里说起呢？ ... ..." }, { "name":"张三", "comment":"写的不错", "age":28, "date":"2020-05-04" }, { "name":"李四", "comment":"写的很好", "age":20, "date":"2020-05-04" }, { "name":"王五", "comment":

http://t.cn/Aie7C6KD 最近正好对这些产品做过总结，我来介绍一下阿里云主要的产品及功能： ECS (Elastic Compute Service)：以虚拟机的方式将一台物理机分成多台云服务器，提供可伸缩的计算服务。 SLB (Server Load Balance）：基于LVS和Tengine实现的4层和7层负载均衡，有动态扩容，session保持等特点。 RDS (Relational Database Service)；：通过云服务的方式让关系型数据库管理、操作和扩展变得更加简单。 OCS (Open Cache Service)：基于内部Tair，增加一层Proxy，支持海量小数据的高速访问。 OTS（Open Table Service）：海量（结构化）数据存储和实时查询服务。 OSS（Open Store Service）：对任意大小数据对象提供高可用，高可靠的海量存储服务。 CDN（Content Delevery Network）：通过覆盖全网的缓存服务以及负载均衡等技术将用户请求定向到最合适的区域，提高用户服务的响应速度及网站服务能力。 OAS (Open Archive Service)：离线归档，冷数据备份，类似Amazon Glacier。 ODPS（Open Data Processing Service）：海量数据处理和分析平台。

1、今年xing 式不好，不要裸辞！！ 要做好万全准备再提离职，拿到 offer 再离职也无可厚非！！ 已经有很多球友 后悔 上半年裸辞了。 裸辞一时爽，事后悔断肠 。 2、可以适度包装一下简历，但绝对不能造假！ 3、结合心仪公司心仪岗位灵活改简历，不要一套模板用到底。 去掉口语化、精简、凝炼简历； 千万不要有错别字、白字、语法错误； word 文档排版要主次分明，清晰明了。 电话等个人信息填错，项目经历中语句不通顺、错字、别字，标点符号、排版等乱七八糟的简历等都非常常见。 4、深度复盘开发过的产品或者做过的项目。 产品开发/ 项目经历要考虑尽量丰富，关键要点详实； 突出项目优势、亮点、你参与的工作和贡献； 如果有大数据规模开发、运维、架构、选型经验等都算加分项。 面试官问你 之前的工作 ，主要考察什么？ 你的项目经历或产品开发经验。 有相关项目经验，在新公司能较快的开展工作。 面试官关注是你的 产出结果 ，而非过程。 你在项目中扮演的角色？ 架构设计、方案选型、产品设计、需求对接、详细/概要设计、开发、运维、维护等。 参与过架构设计和仅 CRUD 的工程师是不一样的。 你遇到过什么问题，怎么解决的？ 主要考察分析问题、解决问题的能力。 线下求助别人、线上网络搜索或者求助（google、stackoverflow、disscuss.elastic.co）、日志分析、源码分析等。

当我们的ES集群搭建完成以后，我怎么能看到集群中各个节点状态以及主节点和健康情况呢，如下讲解使用curl命令来与ES集群进行交互、分别有查询主节点情况、集群状态、以及创建索引查看索引、查看分片以及对ES集群进行查询请求等操作。 CURL语法讲解 RESTful API: curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>' -X：指定请求方式 <VERB>：GET,POST,PUT,DELETE 一般请求为GET、提交变更为POST、上传文件为PUT、删除操作为DELETE <PROTOCOL>：协议，一般为HTTP协议 <HOST>：主机，可为主机的IP地址或Hostname <PORT>：主机端口 <PATH>：路径，主机端口后的路径，如下几个路径：/_cat, /_search, /_cluster /_cat路径覆盖了大多数的信息内容,/_search为搜索所有的索引和文档类型 <QUERY_STRING>：查询字符串匹配规则 -d：指定主体内容 <BODY>：json格式的请求主体 Elasticseearch基本查询语句 //查看_cat支持的信息 kibana: GET /_cat bash: curl -XGET -u elastic