yarn

先看是否存在 describe('Toast', () => { it('存在.', () => { expect(Toast).to.be.exist }) }); 看属性,我们要测 ToastVue 和 plugin.js describe('Toast', () => { it('存在.', () => { expect(Toast).to.be.exist }) describe('props',function () { this.timeout(15000) // 设置15秒关闭 it('接收 autoClose', (done)=>{ let div = document.createElement('div') document.body.appendChild(div) const Constructor = Vue.extend(Toast) const vm = new Constructor( { propsData:{ autoClose: true, autoCloseDelay: 1 } } ).$mount(div) setTimeout(()=>{ expect(document.body.contains(vm.$el)).to.eq(false) done() },6000) }) }) }); // 进一步优化,变成关闭的时候进行测试

　　　　目前机器学习可以说是百花齐放阶段，不过如果要学习或者研究机器学习，进而用到生产环境，对平台，开发语言，机器学习库的选择就要费一番脑筋了。这里就我自己的机器学习经验做一个建议，仅供参考。 　　　　首先，对于平台选择的第一个问题是，你是要用于生产环境，也就是具体的产品中,还是仅仅是做研究学习用？ 1. 生产环境中机器学习平台的搭建 　　　　如果平台是要用于生产环境的话，接着有一个问题，就是对产品需要分析的数据量的估计，如果数据量很大，那么需要选择一个大数据平台。否则的话只需要一个单机版的平台就可以了。 1.1 生产环境中机器学习大数据平台的搭建 　　　　生产环境里面大数据平台，目前最主流的就是Spark平台，加上辅助的分布式数据处理容器，比如YARN，或者Mesos.如果需要实时的收集在线数据，那么就加上Kafka。简言之，一个通用的大数据处理平台就是集成Spark + YARN(Mesos) + Kafka. 我现在做的产品项目都是基于Spark + YARN+ Kafka的，目前来看，这个平台选择基本上是主流的方向。 　　　　当然，有人会说，这么多开源软件，一起集成起来好麻烦，大坑肯定不少，有没有一个通用的平台，可以包括类似Spark + YARN+ Kafka的大数据平台功能呢？目前据我所知，做的比较好的有CDAP(http://cdap.io)。它对Spark，

Spark版本:2.1.x Spark有许多模式，比如standlone 这里分析Spark on yarn 的部署流程。在这种模式中有几个重要的角色我们列出来。Driver、Executor、AM、NM、RM等，我们将在源码中将这几个组件串联起来，分析在Spark on yarn下这几个组件是如何工作的。 入口 spark-submit 中调用的类为 org.apache.spark.deploy.SparkSubmit 具体分析过程不赘述。 所以我们直接从SparkSubmit 分析，后续的逻辑。 1 % org.apache.spark.deploy.SparkSubmit %% main %%% SparkSubmitArguments(args) 进入main方法SparkSubmitArguments(args)进行参数准备，这是一个class对象，当我们使用new SparkSubmitArguments(args)的时候，其中的所有的代码从上至下依次执行。 %% submit(appArgs) %%% prepareSubmitEnvironment(args) 在这个方法中,返回了方法参数，其中 mainClass代表的参数是org.apache.spark.deploy.yarn.Client %%% Runmain() 此方法中以开启线程的方式

Facebook在今年发布了yarn2.0版本，感觉V2和V1相比还是有一些新的东西加入和很大的改变，尝试着使用了一下yarn V2，做了一个简单的总结； 首先在全局下安装最新的版本 npm install -g yarn@berry 运行 yarn dlx create-react-app my-app 使用react脚手架生成一个项目，由于yarn2.0直接将npn模式内置了，打开项目会发现，没有node_modules文件夹，而是.yarn文件夹和.pnp.js .yarn文件夹下cache文件夹里面是放所有依赖的压缩包，zip格式，相对而言压缩了整个项目体积； .yarn文件夹下unplugged文件夹是放解压过后的安装包，使用yarn unplug xx 进行解压，解压后的依赖就在这个目录下； .pnp.js的主要作用是直接告诉node去哪个目录下查找哪个模块，不需要再按照node_modules之前的查找模式一步步的向上查找，提高了查找效率。 这是yarn V2最大的一个变化，其次还有一个功能相对于开发来说也是一个很好的功能，就是可以通过插件去扩展yarn； 新建一个plugin-hello.js文件，然后再建一个.yarn.yml（yarn2.0的配置文件和锁定文件都更改为纯YAML格式），在.yarn.yml里面写 plugins: - ./plugin-hello

一、环境依赖版本 1、npm安装yarn npm install -g yarn 查看版本： yarn --version 二、脚手架搭建以及在项目中引用 antd 插件 来源： https://www.cnblogs.com/fger/p/12348425.html

转自： https://www.jianshu.com/p/f510a1f8e5f0 1，yarn top 类似linux里的top命令，查看正在运行的程序资源使用情况 2， yarn queue -status root.users.xxxx 查看指定queue使用情况 3,yarn application -list -appStates 【ALL,NEW,NEW_SAVING,SUBMITTED,ACCEPTED,RUNNING,FINISHED,FAILED,KILLED】 yarn application -list -appTypes [SUBMITTED, ACCEPTED, RUNNING] 查看app状态 yarn application -movetoqueue application_1528080031923_0067 -queue root.users.xxx 移动app到对应的队列 yarn application -kill application_1528080031923_0067 kill掉app yarn application -status application_1528080031923_0067 查看app状态 4，yarn applicationattempt -list application_1528080031923_0064

　　　　目前机器学习可以说是百花齐放阶段，不过如果要学习或者研究机器学习，进而用到生产环境，对平台，开发语言，机器学习库的选择就要费一番脑筋了。这里就我自己的机器学习经验做一个建议，仅供参考。 　　　　首先，对于平台选择的第一个问题是，你是要用于生产环境，也就是具体的产品中,还是仅仅是做研究学习用？ 1. 生产环境中机器学习平台的搭建 　　　　如果平台是要用于生产环境的话，接着有一个问题，就是对产品需要分析的数据量的估计，如果数据量很大，那么需要选择一个大数据平台。否则的话只需要一个单机版的平台就可以了。 1.1 生产环境中机器学习大数据平台的搭建 　　　　生产环境里面大数据平台，目前最主流的就是Spark平台，加上辅助的分布式数据处理容器，比如YARN，或者Mesos.如果需要实时的收集在线数据，那么就加上Kafka。简言之，一个通用的大数据处理平台就是集成Spark + YARN(Mesos) + Kafka. 我现在做的产品项目都是基于Spark + YARN+ Kafka的，目前来看，这个平台选择基本上是主流的方向。 　　　　当然，有人会说，这么多开源软件，一起集成起来好麻烦，大坑肯定不少，有没有一个通用的平台，可以包括类似Spark + YARN+ Kafka的大数据平台功能呢？目前据我所知，做的比较好的有CDAP(http://cdap.io)。它对Spark，

在 Yarn 上使用 GPU 前提 目前，Yarn 只支持 Nvidia GPU。 YARN NodeManager 所在机器必须预先安装了 Nvidia 驱动器。 如果使用 Docker 作为容器的运行时上下文，需要安装 nvidia-docker 1.0（这是 Yarn 当前所能支持的版本）。 配置 GPU 调度 在 resource-types.xml， 添加如下配置 <configuration> <property> <name>yarn.resource-types</name> <value>yarn.io/gpu</value> </property> </configuration> 在 yarn-site.xml 中 ， DominantResourceCalculator 必须被配置以启用 GPU 调度和隔离。 对于 Capacity Scheduler ，在 capacity-scheduler.xml 中使用如下参数以配置 DominantResourceCalculator ： 参数 默认值 yarn.scheduler.capacity.resource-calculator org.apache.hadoop.yarn.util.resource.DominantResourceCalculator GPU 隔离 yarn-site.xml

Spark运行模式简介 注：重点是Standalone模式，然后是YARNcluster和YARN client模式。 1. Standalone模式 即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统 。从一定程度上说， 该模式是其他两种的基础 。借鉴Spark开发模式，我们可以得到一种开发新型计算框架的一般思路：先设计出它的standalone模式，为了快速开发，起初不需要考虑服务（比如master/slave）的容错性，之后再开发相应的wrapper，将standalone模式下的服务原封不动的部署到资源管理系统yarn或者mesos上，由资源管理系统负责服务本身的容错。目前Spark在standalone模式下是没有任何单点故障问题的，这是借助zookeeper实现的，思想类似于Hbase master单点故障解决方案。将Spark standalone与MapReduce比较，会发现它们两个在架构上是完全一致的： 　　1) 都是由master/slaves服务组成的，且起初master均存在单点故障，后来均通过zookeeper解决； 　　2) 各个节点上的资源被抽象成粗粒度的slot，有多少slot就能同时运行多少task。不同的是， MapReduce将slot分为map slot和reduce slot，它们分别只能供Map