Elastic

在基于时序数据中，我们总是关心最近产生的数据，例如查询订单通常只会查询最近三天，至多到最近一个月的，查询日志也是同样的情形，很少会去查询历史数据，也就是说类似的时序数据随着时间推移，价值在逐渐弱化。在es中经常按日或按月建立索引，我们很容易想到，历史索引被查询命中的概率越来越低，不应该占用高性能的机器资源(比如大内存，SSD)，可以将其迁移到低配置的机器上，从而实现冷热数据分离存储。 分片分配规则(shard allocation filtering) 假设我们有三个es节点，一台高性能机器(hot)和2个低配置机器(warm)，通常索引分片会均匀分布在集群节点中，但我们希望最新的数据由于其写入和查询频繁的特性，只能保存在hot节点上，而过期的数据保存在warm节点上。 实现该功能，首先要对节点人为的打个标签，然后在索引创建时指定要把分片分配给hot节点，在索引不再写入后，迁移到warm节点上 1. 节点tag 依次启动三个节点，同时加入box_type和resource_level标签，box_type标记node1、node2为warm节点，node3为hot节点，resource_level标记机器资源的性能，分为高，中，低 bin/elasticsearch -d -p pid -E node.name=node1 -E node.max_local_storage

简介： 今年年初，图森未来的无人驾驶卡车还上了“钢铁侠”的扮演者小罗伯特·唐尼主持的科技聚集剧集《The Age of A.I.》（《AI时代》），在剧中不仅顺利完成无人驾驶的行驶任务，还与围追堵截的摄像车“斗智斗勇”，在摄像车各种找拍摄角度的情况下，自动自我调整，化险为夷，避让既礼貌又安全！ 图森未来（TuSimple）成立于2015年，是一家专注于L4级无人驾驶卡车技术研发与应用的人工智能企业，已经实现卡车在干线物流场景和半封闭枢纽场景下的无人干预驾驶。图森未来品牌旗下产品——图森未来 L4 级别无人驾驶卡车能够实现环境感知、定位导航、决策控制等自动驾驶核心功能，可应用于高速公路货运和港内集装箱码头运输及其相似场景。 公司于2019年9月完成总额2.15亿美元D轮融资，资方：UPS、鼎晖资本、万都中国、累计融资超过3亿美元，最新估值超过12亿美元，是卡车无人驾驶头部企业，也是全球第一家无人驾驶卡车独角兽企业。 图森未来的业务主要在美国和国内两地展开，在美国主要是高速公路干路货运场景，国内业务开始以连接枢纽场景的干线物流货运为主。 在美国，图森未来已经向包括UPS、USPS、McLane、U.S. Xpress在内的18家客户提供无人驾驶物流服务。 今年年初，图森未来的无人驾驶卡车还上了“钢铁侠”的扮演者小罗伯特·唐尼主持的科技聚集剧集《The Age of A.I.》（

环境：ES 6.2.2 os：Centos 7 kibana:6.2.2 介绍 索引是ElasticSearch存放数据的地方，可以理解为关系型数据库中的一个数据库。事实上，我们的数据被存储和索引在分片(shards)中，索引只是一个把一个或多个分片分组在一起的逻辑空间。然而，这只是一些内部细节——我们的程序完全不用关心分片。对于我们的程序而言，文档存储在索引(index)中。剩下的细节由Elasticsearch关心既可。（索引的名字必须是全部小写，不能以下划线开头，不能包含逗号） 类型用于区分同一个索引下不同的数据类型,相当于关系型数据库中的表。在Elasticsearch中，我们使用相同类型(type)的文档表示相同的“事物”，因为他们的数据结构也是相同的。每个类型(type)都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样。所有类型下的文档被存储在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。 文档是ElasticSearch中存储的实体，类比关系型数据库，每个文档相当于数据库表中的一行数据。在Elasticsearch中，文档(document)这个术语有着特殊含义。它特指最顶层结构或者根对象(root object)序列化成的JSON数据（以唯一ID标识并存储于Elasticsearch中）。

MATRIXX 行业领先的 5G 数字商务平台将通过 HPE 快速发展的云服务平台 HPE GreenLake 提供 加州福斯特城--(美国商业资讯)--5G货币化解决方案领域的全球领导者 MATRIXX Software 已与 慧与科技 (HPE)合作，通过 HPE GreenLake 向通信服务提供商(CSP)提供MATRIXX数字商务(MATRIXX Digital Commerce)，HPE GreenLake是弹性即服务(elastic-as-a-service)平台，可在本地、边缘或主机托管站点运行。 MATRIXX数字商务提供云原生、实时融合收费商务平台，使CSP可以在Web规模层面具有竞争力。MATRIXX提供独特的产品，使CSP可以快速转型，参与数字化活动，并提高运营效率。随着Dish、瑞士电信(Swisscom)、Orange和Three等业界领先的服务提供商向云原生架构演进，以及开发适用于B2C、B2B和B2B2X的5G新商业模式，他们均已选择MATRIXX作为其面向未来的货币化解决方案。 今年，高速、优质网络资源和增值服务的需求和消耗激增，并且随着CSP投资于5G部署，这一需求和消耗将继续猛增。为了加快提供新服务，越来越多的CSP求助于云计算，以提供支持快速、持续开发和部署新服务和产品所需的运营敏捷性。通过利用HPE GreenLake

{ " AWSTemplateFormatVersion " : " version date " , " Description " : " JSON string " , " Metadata " : { template metadata }, " Parameters " : { set of parameters }, " Mappings " : { set of mappings }, " Conditions " : { set of conditions }, " Transform " : { set of transforms }, " Resources " : { set of resources }, " Outputs " : { set of outputs } } 模板部分 模板包含几个主要部分。 Resources 部分是唯一的必需部分。模板中的某些部分可以任何顺序显示。但是，在您构建模板时，使用以下列表中显示的逻辑顺序可能会很有用，因为一个部分中的值可能会引用上一个部分中的值。 Format Version（可选） 模板符合的 AWS CloudFormation 模板版本。模板格式版本与 API 或 WSDL 版本不同。模板格式版本可独立于 API 和 WSDL 版本，进行独立更改。 Description (可选) 一个描述模板的文本字符串

问：AWS CloudFormation 是什么？ AWS CloudFormation 是一种让开发人员和企业都能轻松创建相关 AWS 资源集合，并 按顺序和可预测的方式对其进行预配置的服务。 问：开发人员现在可以通过 AWS CloudFormation 实现哪些以前无法实现的功能？ 答：AWS CloudFormation 会 自动化处理和简化预见性地反复创建相关资源组的任务 ，这些资源可以为您的应用程序提供支持。现在， 创建和互连应用程序运行所需的全部资源与创建一个 EC2 或 RDS 实例一样简单。 问：AWS CloudFormation 与 AWS Elastic Beanstalk 有什么区别？ 这些服务的设计目的是使二者相辅相成。AWS Elastic Beanstalk 提供了一个可在 云中轻松开发和运行应用程序的环境 。它与 开发人员工具相集成 ，为您管理应用程序生命周期提供了 “一站式”体验 。AWS CloudFormation 是一种 便捷的部署机制 ，适用于众多 AWS 资源。它支持许多不同类型的应用程序的基础设施需求，如现有的 企业级应用程序、旧式应用程序、使用各种 AWS 资源构建的应用程序 ，以及基于容器的解决方案（包括使用 AWS Elastic Beanstalk 构建而成的解决方案）。 AWS CloudFormation 支持

来源：机器之心 本文 约4300字 ，建议阅读 10 分钟 转向容器化机器学习开发是应对众多挑战的一种途径。 大多数人都喜欢在笔记本电脑上做原型开发。当想与人协作时，通常会将代码推送到 GitHub 并邀请协作者。当想运行实验并需要更多的计算能力时，会在云中租用 CPU 和 GPU 实例，将代码和依赖项复制到实例中，然后运行实验。如果您对这个过程很熟悉，那么您可能会奇怪：为什么一定要用 Docker 容器呢？ 运营团队中优秀的 IT 专家们可以确保您的代码持续可靠地运行，并能够根据客户需求进行扩展。那么对于运营团队而言，容器不就成了一种罕见的工具吗？您能够高枕无忧，无需担心部署问题，是因为有一群基础设施专家负责在 Kubernetes 上部署并管理您的应用程序吗？ 在本文中，AWS会尝试说明为什么您应该考虑使用 Docker 容器进行机器学习开发。在本文的前半部分，将讨论在使用复杂的开源机器学习软件时遇到的主要难题，以及采用容器将如何缓和这些问题。然后，将介绍如何设置基于 Docker 容器的开发环境，并演示如何使用该环境来协作和扩展集群上的工作负载。 机器学习开发环境：基本需求 首先了解一下机器学习开发环境所需的四个基本要素： 计算：训练模型离不开高性能 CPU 和 GPU； 存储：用于存储大型训练数据集和您在训练过程中生成的元数据； 框架和库：提供用于训练的 API 和执行环境

1、前言 　　APM，又称应用性能统计，主要用来跟踪请求调用链，每个环节调用耗时，为我们诊断系统性能、定位系统问题提供了极大便利。本系统采用的是Elastic Stack体系中的APM，主要是之前部门搞PCI认证，其中有一环ELK，而刚好ELK就是我搭建的，这里就顺便使用ELK体系的APM，没必要再另起一套了。 2、实现 　　首先，你需要搭建好ELK平台，这里搭建过程不做赘述，大家参考Elastic Stack官网，简单明了。 　　然后，安装Elastic APM Server，就是一个Linux RPM包，一行Linux命令的事情，也不做赘述。这里交代下APMServer的几个关键配置，以centos7为例。在/etc/apm-server目录下，有个apm-server.yml配置文件，修改其中如下几处： apm-server访问地址，改成你自己服务器IP和端口： APM Agent访问token凭证，这是个静态口令，你可以随意调整： SSL启用，代表各agent需要以https方式来链接apm-server，换成你自己的证书和key： 到ES存储的链接，同样需要调整成你自己的： 　　其中各项配置的参数，配置文件中已经注释的比较清楚了，大概看下其描述我们就知道该怎么配。 　　 　　Apm-server配置好之后，接下来就是我们应用中引入和配置agent了。首选

因为总是看到很多同学在说Elasticsearch性能不够好、集群不够稳定，询问关于Elasticsearch的调优，但是每次都是一个个点的单独讲，很多时候都是case by case的解答，本文简单梳理下日常的Elasticsearch使用调优，以下仅为自己日常经验之谈，如有疏漏，还请大家帮忙指正。 一、配置文件调优 elasticsearch.yml 1、内存锁定 bootstrap.memory_lock：true 允许JVM锁住内存，禁止操作系统交换出去。 2、zen.discovery Elasticsearch默认被配置为使用单播发现，以防止节点无意中加入集群。组播发现应该永远不被使用在生产环境了，否则你得到的结果就是一个节点意外的加入到了你的生产环境，仅仅是因为他们收到了一个错误的组播信号。 ES是一个P2P类型的分布式系统，使用gossip协议，集群的任意请求都可以发送到集群的任一节点，然后ES内部会找到需要转发的节点，并且与之进行通信。 在ES1.x的版本，ES默认是开启组播，启动ES之后，可以快速将局域网内集群名称，默认端口的相同实例加入到一个大的集群，后续再ES2.x之后，都调整成了单播，避免安全问题和网络风暴。 单播 discovery.zen.ping.unicast.hosts ，建议写入集群内所有的节点及端口，如果新实例加入集群

华为云 是华为的云服务品牌，用在线的方式将华为30多年在ICT基础设施领域的技术积累和产品解决方案开放给客户，致力于提供稳定可靠、安全可信、可持续创新的云服务，做智能世界的“黑土地”，推进实现“用得起、用得好、用得放心”的普惠AI。 华为云 作为底座，为华为全栈全场景AI战略提供强大的算力平台和更易用的开发平台。 弹性云服务器 ECS 弹性云服务器（Elastic Cloud Server）是一种可随时自助获取、可弹性伸缩的云服务器，帮助用户打造可靠、安全、灵活、高效的应用环境。 通过这次牛客网的活动，我购买了一年的云服务器。 访问 华为云 服务器 当然，我们也可以通过Windows远程访问我们的云服务器 接下来我会进一步完善我的服务器，慢慢将其完善。 华为云 服务器你值得拥有！！！ 来源： oschina 链接： https://my.oschina.net/u/4704361/blog/4713329