Elastic

Logstash https://www.elastic.co/cn/logstash 集中、转换和存储数据 Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。 Logstash is an open source data collection engine with real-time pipelining capabilities. Logstash can dynamically unify data from disparate sources and normalize the data into destinations of your choice. Cleanse and democratize all your data for diverse advanced downstream analytics and visualization use cases. How Logstash Works https://www.elastic.co/guide/en/logstash/current/pipeline.html#pipeline The Logstash event processing pipeline has three stages: inputs → filters

0、问题引出 经群讨论，建议从以下几个方面展开，大家有好的想法，也欢迎留言交流。 1、可视化展示ELK效果 如果条件允许，demo的内容是：通过logstash 同步日志或数据库（oracle、mysql）表的数据到 Elasticsearch，然后通过kibana进行可视化。 1 通过Canvas对数据进行可视化布局与展现，可以实现非常酷炫的大屏展示效果。 2 展示实时数据的数据量。 3 展示你定的几个维度的数据信息。 这么切入的目的：很直观，很明显，很接地气。用到ELK技术栈的内容，有带动性，让参与的同事不犯困且很容易让大家对它产生兴趣。 2、 Elk stack大家族简介 考虑到不同受众关注点不同。结合业务的数据的特点，从输入、中间处理、存储&检索、分析等全数据流环节展开。 2.1 输入 Elastic 支持的输入包含但不限于： 日志类数据：类log4j.log，apache log等，可借助 beats或logstash同步 关系型数据库：mysql oracle pgsql等 非关系型数据库:mongodb redis等 实时数据流：flink spark kafka hdfs等 大数据：hadoop hdfs等 此处的不同数据的导入，Lostash有丰富的input/output插件，支持N多不同数据源接入，估计同事也会眼前一亮。 2.2 中间处理ETL

0、背景 在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。 这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。 Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。 Elasticsearch是一种分布式数据存储和搜索引擎，具有容错和高可用性特点。为了充分利用其搜索功能，需要正确配置Elasticsearch。 简单的默认配置不适合每个实际业务场景。实战开发运维中，个性化实现贴合自己业务场景的集群配置是优化集群性能的必经之路。本文集合实战业务场景，重点介绍搜索密集型Elasticsearch集群的提升性能的干货配置。 1、索引层面优化配置 默认情况下，6.x及之前的版本中Elasticsearch索引有5个主分片和1个副本，7.X及之后版本1主1副。 这种配置并不适用于所有业务场景。 需要正确设置分片配置，以便维持索引的稳定性和有效性。 1.1、分片大小 分片大小对于搜索查询非常重要。 一方面， 如果分配给索引的分片太多，则Lucene分段会很小，从而导致开销增加。当同时进行多个查询时，许多小分片也会降低查询吞吐量。 另一方面，太大的分片会导致搜索性能下降和故障恢复时间更长。

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 云通常是指全球互联网或网络，而计算是指由远程提供商作为服务提供的虚拟资源。通过资源提供的服务可以是软件、基础设施、平台、设备和其他资源。以下深入探讨了这个主题，给出了有关云计算基础知识的快速思路。 概述 使用在线资源是当今计算机领域的一个普遍现象。大多数企业应用程序，无论是电子商务、银行、教育还是医疗保健，都是在考虑当前趋势的情况下构建的。这导致了从存储到原始处理能力的大量在线资源的使用。由于单个服务器无法满足需求，应用程序被驱动使用分布式系统。互联网是一个可以在云计算模型中使用的现成平台，尽管它并不局限于此。一些原来应在内部部署环境下运行的应用程序有一个在线对应程序来平衡低成本使用的需求。例如，像microsof tWord这样的Office应用程序，基本上是一个桌面应用程序，它的在线界面可以在云计算领域工作。越来越多的应用程序是在考虑云计算及其效用的情况下构建的。它有几个优点。例如： 通过使用在线资源，位置变得独立。因此，只要有全球互联网连接，就可以从任何地方访问应用程序。 可以很大限度地减少组织在硬件和软件上的资本支出。 客户可以专注于资源的实用性或订阅，因此可以更好地管理其支出。 可以根据需要获取或终止订阅。这为资源的使用提供了更大的灵活性。 几乎无需维护所购资源的成本

第一步：检查jdk是否安装好 输入 java -version 以查看jdk版本 第二步：下载并解压 下载elasticsearch的tar包 地址： https://www.elastic.co/cn/downloads/elasticsearch 下载到本地硬盘后，通过xftp上传至linux下 tar -zxvf 执行解压命令 tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt/install/ 其中elasticsearch-6.2.2.tar.gz是elasticsearch的包名，/opt/install是解压的目标目录 第三步：配置 解压完成之后，进入到elasticsearch的config目录下，通过vi命令编辑yml配置文件 下面的各项配置冒号之后需要加空格 主节点 从节点 cluster.name: xxxname xxxname node.name: master server1-n node.master: true ** false** network.host: 主机host别名或ip 丛机的别名或ip地址 discovery.zen.ping.unicast.hosts: [“主机1别名”,” 主机2别名”, … ,” 主机3别名”] 与主节点相同 http.port: 9200 与主节点相同 http.cors

官方资源链接 https://www.elastic.co/cn/start elasticsearch官方基础视频教程 https://www.elastic.co/cn/webinars/getting-started-elasticsearch?elektra=startpage kibana官方基础视频教程 https://www.elastic.co/cn/webinars/getting-started-kibana?elektra=startpage 动手实践 当前最新版本 Elasticsearch 7.7.0 运行环境 a.JDK8+ b.系统可用内存>2G c.win7 下载 个人觉得迅雷相对较快 https://artifacts.elastic.co/downloads/kibana/kibana-7.7.0-windows-x86_64.zip https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-windows-x86_64.zip 解压运行启动服务 ​elasticsearch/ bin elasticsearch.bat #编辑 kibana.yml elasticsearch.hosts: [ " http://localhost:9200 " ]

题记 这是星球-静夜思模块里面一篇文章，有感于星球微信群的一次交流，连夜边思考边记录了下来。 静夜思模块完全是深夜里由感而发，大多包含但不限于：认知的梳理 、方法论的探讨、各种问题的暗时间思考…… 微信群机缘巧合，认识了很多领域的先行者、持续技术跟进者，统称或者俗称大佬。 比如：硅谷、腾讯云、阿里云、蚂蚁金服、小米、华为、Oracle一线大厂ES大佬。 比如：HBASE大佬 比如：SPring大佬 比如：Flink大佬 面对大佬，我们的表情通常是这样的？ 一方面：对大佬，我们要敬重，肯定某些领域比我们经验丰富，值得我们去学习！ 另一方面：我们要学习和反思。 大佬到底是如何炼成的？我认为这更重要。 相比大佬近况，我更喜欢看大佬的成长历程，如何一步步成长的！ 结合我的近十年的从业经历和大量观察，总结出以下十点认知。 第一：没有人一下就是大佬 著名骨灰级程序员左耳朵耗子 当年也是从小城市辗转反侧到上海、北京，从事业单位、私企、小外企、亚马逊、阿里、创业。 也经历过面试C语言基础一问三不知的情况。他的20几年的心路历程，能看得出一步步点滴积累的重要性。 早期的collshell文章深度没有那么深，甚至再早期05年之前都是在CSDN发文的，但是的的确确是有非常详尽、经历思考的干货总结。 第二：爷爷都是从孙子做起的 话糙理不糙。知名自媒体，财务自由的90后帅张。最早机房打杂，干过测试、开发

许多年前，一个刚结婚的名叫 Shay Banon 的失业开发者，跟着他的妻子去了伦敦，他的妻子在那里学习厨师。 在寻找一个赚钱的工作的时候，为了给他的妻子做一个食谱搜索引擎，他开始使用 Lucene 的一个早期版本。 直接使用 Lucene 是很难的，因此 Shay 开始做一个抽象层，Java 开发者使用它可以很简单的给他们的程序添加搜索功能。 他发布了他的第一个开源项目 Compass。 后来 Shay 获得了一份工作，主要是高性能，分布式环境下的内存数据网格。这个对于高性能，实时，分布式搜索引擎的需求尤为突出， 他决定重写 Compass，把它变为一个独立的服务并取名 Elasticsearch。 第一个公开版本在2010年2月发布，从此以后，Elasticsearch 已经成为了 Github 上最活跃的项目之一，他拥有超过300名 contributors(目前736名 contributors )。 一家公司已经开始围绕 Elasticsearch 提供商业服务，并开发新的特性，但是，Elasticsearch 将永远开源并对所有人可用。 据说，Shay 的妻子还在等着她的食谱搜索引擎…​ Elasticsearch是Java开发的基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

ElasticSearch笔记 1. ElasticSearch前期 1.1 聊聊ElasticSearch的简介 ​ Elaticsearch，简称为es， es是一个开源的 高扩展的分布式全文检索引擎 ，它可以近乎实时的 存储 、 检索 数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别（大数据时代）的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。 ​ 据国际权威的数据库产品评测机构DB Engines的统计，在2016年1月，ElasticSearch已超过Solr等，成为排名第一的搜索引擎类应用。 ElasticSearch的小故事 ​ 多年前，一个叫做Shay Banon的刚结婚不久的失业开发者，由于妻子要去伦敦学习厨师，他便跟着也去了。在他找工作的过程中，为了给妻子构建一个食谱的搜索引擎，他开始构建一个早期版本的Lucene。直接基于Lucene工作会比较困难，所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜 索功能。他发布了他的第一个开源项目，叫做“Compass”。 ​ 后来Shay找到一份工作，这份工作处在高性能和内存数据网格的分布式环境中，因此高性能的、实时 的、分布式的搜索引擎也是理所当然需要的

8-7 偏差方差平衡 用学生的姓名来预测成绩，就会偏差很大，特征不对 knn对数据很敏感，一旦离它近的数据不合理或有问题则结果就不对，高度于依赖于样本数据 knn当使用所有样本时，即就是看哪个多就是哪个，则偏差最大，方差最小 机器学习的主要挑战，来自于方差，这是从算法的角度来说。 但对问题本身而言就不一定了，因为问题可能就很复杂，我们对其理解很肤浅。 方差可能就是学习了数据样本的噪音导致的 深度学习数据规模要足够多才可能有好的效果 8-8 模型泛化与岭回归08-Model-Regularization-and-Ridge-Regression 多项式回归过拟合的情况，有一些系数会很大，模型正则化就是限制其不要太大 很显然一些参数超级大 要考虑theta也尽可能的小，不需要theta0，它是截距，决定线的高低 限制theta的大小 alpha是新超参数，表示theta占的比重，如alpha为零则没有theta，如果为无穷大，则theta尽量小才能使目标尽可能小 这种方法又称为岭回归 from sklearn.pipeline import Pipeline from sklearn.preprocessing import PolynomialFeatures from sklearn.preprocessing import StandardScaler from sklearn