Elastic

前文： Lasso linear model实例 | Proliferation index | 评估单细胞的增殖指数 参考：LASSO回歸在生物醫學資料中的簡單實例 - 生信技能树 Linear least squares, Lasso,ridge regression有何本质区别？ 你应该掌握的七种回归技术 （好文，解释了各个回归的特点，以及分别应用在什么场合） 热门数据挖掘模型应用入门（一）: LASSO 回归 - 侯澄钧 Feature Selection using LASSO - 原文论文 （英文的讲解更全面，更好理解，强烈推荐阅读） 这幅图解释了为什么LASSO会让大部分的β j (λ) = 0 假设一个二维模型对应的系数是 β1 和 β2，然后 β 是最小化误差平方和的点， 即用传统线性回归得到的自变量系数。 但我们想让这个系数点必须落在蓝色的正方形内，所以就有了一系列围绕 β 的同心椭圆， 其中最先与蓝色正方形接触的点，就是符合约束同时最小化误差平方和的点。 两篇经典文章： Prediction of clinical outcome in glioblastoma using a biologically relevant nine-microRNA signature Reconstruction of enhancer–target networks in

前提： 已经安装好docker运行环境； 步骤： 1.安装elasticsearch 6.2.2版本，目前最新版是7.2.0，这里之所以选择6.2.2是因为最新的SpringBoot2.1.6默认支持的就是6.2.2的，而7.x是有很大更新的，SpringBoot正常集成的情况下无法和es最新版本兼容； 这里只需要记住Document的一个index只能创建一个type，且type的值都设置为_doc即可和7.x的es兼容【8.x将会移除type的概念，7.x里是为了过渡，index将成为类似List<Product>的结构】； 安装命令：docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.2【这里docker记得配置国内加速器，否则安装很慢】 2.安装好es后为它添加ik插件，先创建运行一个es6.2.2的container（docker run --name elasticsearch6 -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:6.2.2 ）；接着用docker exec -it elasticsearch6 /bin

1）下载 Elasticsearch 6.3.1 地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz 2）拷贝 拷贝到服务器上，解压：tar -xvzf elasticsearch-6.3.1.tar.gz 。解压后路径：/home/elasticsearch-6.3.1 3）创建用户 创建用户，创建esdata目录，并赋予权限 [root@bogon home]# adduser esuser [root@bogon home]# cd / home [root@bogon home]# mkdir -p esdata/ data [root@bogon home]# mkdir -p esdata/ log [root@bogon home]# chown -R esuser elasticsearch- 6.3 . 1 [root@bogon home]# chown -R esuser esdata 4）配置es [root@bogon esdata]# cat /home/elasticsearch- 6.3 . 1 /config/ elasticsearch.yml # ======================== Elasticsearch

云栖号案例库： 【点击查看更多上云案例】 不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！ 公司介绍 上海振华重工股份有限公司（以下简称振华重工）是一家著名的重型设备制造商，已在上海证券交易所A、B股上市。主要股东为中国交通建设股份有限公司，是世界500强企业之一，前身为工贸船厂，成立于1885年，2009年更名为上海振华重工有限公司。振华重工是拥有25艘6万吨级至10万吨级的运输船舶，产品可销往世界各地。 振华重工主要生产港口用大型集装箱机械和矿石煤炭等散货装卸机械，遍布全世界百余个国家和地区，连续二十多年位居港口机械行业市场份额全球第一。 SAP上云项目是企业数字化转型的突破口，振华重工经过近半年调研和多方评估，最终将包括SAPS/4HANA在内的核心业务系统部署在阿里云公共云上，ERP一期项目于2019年4月正式上线。 业务痛点 数字化转型无从下手，希望减少IT固定资产投入，精简运维人员。 HANA吞吐量要求高，数据保护要求高，高端存储阵列成本高昂。 安全等保要求高，线下同城和异地灾备方案成本过高。 解决方案 HANA+ESSD云盘，性能是业界同类产品的7～10倍，是线下的5倍以上，充分加速业务上云。 我们集团将S/4HANA等SAP核心应用部署在阿里云；带动我们集团OpenText、UEM、智慧集团等项目上云，推动子公司S

云服务器： 通用型（vCPU、内存比例）：1：4 计算型（vCPU、内存比例）：1：1或者1：2 内存型（vCPU、内存比例）：1：8或者更高(如1：10) 各云平台对云服务器的称呼： 阿里云：ECS（Elastic Compute Service） 腾讯云：CVM（Cloud Virtual Machine） AWS：EC2（Elastic Compute Cloud） Azure： Virtual Machine 云服务器根据使用场景分类： 云服务器命名规则： [类型名][代别][后缀](可选)[规格] 类型名：比如ecs、rds等 代别[后缀]：比如阿里云目前用的第6代，比如g6、c6、r6；如g6ne中的ne表示网络增强型； 规格：medium、large、xlarge 区分;large表示2个vCPU;xlarge表示4个vCPU；nxlarge表示n*4个vCPU； 示例：ecs.r6.4xlarge -> 表示第6代内存型(1:8)云服务器，4xlarge表示vCPU为16核，内存为128G； 注：阿里云6代为Inter Xeon Cascade Lake 处理器；5代为Inter Xeon Skylake 处理器； 来源： oschina 链接： https://my.oschina.net/u/4353713/blog/4255812

原文: Elasticsearch.net项目实战 elasticsearch.net项目实战 目录 Elasticsearch+kibana 环境搭建 windows 10环境配置 安装Elasticsearch head安装(非必需) 安装kibana 基本概念 Index Type Document DSL的基本使用 增加 修改 查询 删除 Elasticsearch .Net Low level client基本使用 项目实战 总结 参考 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最 先进、性能最好的、功能最全的搜索引擎库。 一说到全文搜索,lucene久负盛名。早年间,因为项目需要,接触过一个叫盘古分词的开源项目,借助其中的分词实现了分词搜索的功能。而盘古分词就是lucence的.NET版本。据说这个开源项目已经恢复更新并支持. NET Core,有兴趣的童鞋可以去围观一下( https://github.com/LonghronShen/Lucene.Net.Analysis.PanGu/tree/netcore2.0 )。 我想很多童鞋都听过ELK,ELK是Elasticsearch、Logstash、Kibana。正好公司运维同事引入了这样一套体系

参考资料 ES权威指南 ： ES权威指南 ElasticSearch的工作原理 ： ES工作原理 ES角色配置要求 master 这里的master是指节点具备竞选master节点的node，如果这个节点不是data node，则它只会进行master节点竞选、客户端请求路由的功能，所以对内存/IO/CPU的需求一般。 data node data node是干活的节点，负责数据的读写，索引的查询、聚合等功能对内存、IO、CPU要求较高。 客户端节点 客户端节点和master节点功能类似，基本上是用来路由请求，对内存、IO、CPU要求一般。 为什么要有master 在分布式系统中，master的作用基本都是用做对关键数据写一致性的，在ES中也是如此。 在ES cluster中，索引的创建和删除，必须通过master来进行。master指定哪个索引的哪个分片、副本在哪台机器上，并将这些关键信息分发给集群内的机器。这样客户端连接任意一台机器，进行读写索引请求时，就知道应该路由到哪台具体的机器上。 试想一下，如果没有master节点，并发创建同一个索引，假设同时有多台机器进行同一个索引分片和副本的分配，那就会产生混乱。 master具体作用 负责跟踪集群的所有节点。 负责索引的创建和删除。 负责吧集群中的节点、索引、分片、副本等信息同步给各个节点。 master选举 什么时候选举

一、ELKStack的中文指南 　　redhat系列配置repo源 rpm --import https: // artifacts.elastic.co/GPG-KEY-elasticsearch vi /etc/ yum .repos.d/ logstash.repo [logstash - 5 .x] name =Elastic repository for 5 .x packages baseurl =https: // artifacts.elastic.co/packages/5.x/yum gpgcheck= 1 gpgkey =https: // artifacts.elastic.co/GPG-KEY-elasticsearch enabled= 1 autorefresh = 1 type =rpm-md 一、Elasticsearch 　　Elasticsearch 5.4 中文文档： http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364 　　 　　Elasticsearch 权威指南： https://fuxiaopang.gitbooks.io/learnelasticsearch/ 二、Logstash 最佳实践 　　Logstash 最佳实践： https://doc

分布式日志收集系统 日志收集系统采用 elasticsearch+fluentd+kibana，用fluentd代替elk社区里的logstash，logstas的插件是最多的，同时logstash的性能和资源消耗太高，经*站大佬压力测试，在环境为2核4g的云计算服务器上，logstash写入qps极限为8000，通过结合易瑞现有询报价系统，同时也是用户3000+的项目产品，logstash负载压力显然承受不住，服务器资源消耗太严重，所以基于以上考虑采用新型日志收集产品fluentd来代替logstash，相应的技术资料为下图： 题外话 ：亚马逊云用的 fluentd,阿里云用的自研logtail，logtail是性能目前是最高的。 分布式日志系统架构图初步设计为 ： 系统环境： centos6 运行环境： jdk1.8, ruby2.0, fluentd2.3.5, elasticsearch1.7.1, kibana5.0.2 fluentd官方网站： http://www.fluentd.org/ fluentd插件下载地址：https://www.fluentd.org/plugins/all elasticsearch： https://www.elastic.co/products/elasticsearch kibana：https://www.elastic.co

一段时间没关注ELK（elasticsearch —— 搜索引擎，可用于存储、索引日志, logstash —— 可用于日志传输、转换，kibana —— WebUI，将日志可视化），发现最新版已到7.4了。所以别问程序员为什么这么忙？因为不是在加班就是在学习新框架中。 本文整理了使用Docker来快速搭建一套ELK日志分析系统的方法。 1. 部署elk github上有人整理了一套使用docker compose来部署elk的配置，可直接下载使用。 git clone https://github.com/deviantony/docker-elk.git 如果没有git，那就安装一下（ yum install git ），或者直接下载github仓库的源码包。 当前是基于7.2.1版（docker-elk目录下.env文件中定义，可修改）。 调整一下相应的配置。 修改docker-compose，设置es密码等， vim docker-compose.yml # 在elasticsearch部分设置环境变量，将jvm堆内存增大到了1g，设置es elastic用户的密码 environment: ES_JAVA_OPTS: "-Xmx1g -Xms1g" ELASTIC_PASSWORD: Passw0rd # 将logstash的端口映射从默认的5000改为5044