yarn

拷贝react项目到本地 npm run 运行项目时，报错Error: Cannot find module … 解决办法：一次性安装模块 sudo npm i 或者 先安装yarn，利用yarn安装模块 sudo npm i -g yarn yarn install 然后 npm start 就可以运行项目了 来源： CSDN 作者： JoatECJTU 链接： https://blog.csdn.net/Jo_Andy/article/details/103924906

前言：今天使用 wb 新建 react 项目时，出现如下问题： 提示说明：与 yarn 有关。且与淘宝镜像有关，具体问题报告（log）如下： vagrant@homestead:~/Code/larabbs$ yarn config set registry https://registry.npm. taobao.org yarn config v0.27.5 success Set "registry" to "https://registry.npm.taobao.org". Done in 1.55s. vagrant@homestead:~/Code/larabbs$ yarn install yarn install v0.27.5 info No lockfile found. [1/4] Resolving packages... warning laravel-mix > img-loader > imagemin-mozjpeg > mozjpeg > bin-wrapper > do wnload > gulp-decompress > gulp-util@3.0.8: gulp-util is deprecated - replace it , following the guidelines at https://medium.com/gulpjs

一、yarn的简介： 　　Yarn是facebook发布的一款取代npm的包管理工具。 二、yarn的特点： 1.速度超快。 Yarn 缓存了每个下载过的包，所以再次使用时无需重复下载。 同时利用并行下载以最大化资源利用率，因此安装速度更快。 2.超级安全。 在执行代码之前，Yarn 会通过算法校验每个安装包的完整性。 3.超级可靠。 使用详细、简洁的锁文件格式和明确的安装算法，Yarn 能够保证在不同系统上无差异的工作。 三、yarn的安装: 下载node.js，使用npm安装 npm install -g yarn 查看版本： yarn --version Yarn 淘宝源安装 yarn config set registry https://registry.npm.taobao.org -g yarn config set sass_binary_site http://cdn.npm.taobao.org/dist/node-sass -g 四、yarn的常用命令： 安装yarn npm install -g yarn 安装成功后，查看版本号： yarn --version 创建文件夹 yarn md yarn 进入yarn文件夹 cd yarn 初始化项目 yarn init // 同npm init，执行输入信息后，会生成package.json文件 yarn的配置项

Hadoop概述 Hadoop项目是Apache的顶级项目 Hadoop项目是以 可靠、可扩展和分布式计算为目的发展而来的软件 大数据特点 数据容量大：TB--PB 数据类型多：各种非结构化数据。 商业价值高：客户群体细分，提供定制化服务 处理速度快：分布式存储计算，提高效率 Hadoop核心组件 主要作用： 存储和计算 核心组件： hadoop Common: 一组分布式文件系统通用的I/O的组件与接口。（序列化、java RPC 和持计划数据结构） HDFS：Hadoop的分布式文件系统 Hadoop MapReduce：分布式计算框架 可以离线分布式计算，多台机器同时计算其中的一部分数据，将计算结果汇总。得到计算结果。可扩展 Hadoop Yarn：（分布式的资源管理器） MapReduce任务运行在yarn上。yarn提供资源 Hadoop的框架演变 Hadoop1.0的MR：将资源管理和任务调度、计算功能放在一起、扩展性差，不支持多计算框架 Hadoop2.0的MR：将资源管理和任务调度分开，提高扩展性，支持多计算框架 Hadoop生态圈 管理工具：Ambari、CDH等等。目前多数企业使用CDH管理集群 资源管理器：yarn yarn管理集群资源，通俗讲就是用来跑任务的。 计算框架：MapReduce（离线）、Storm、Spark、Flink（实时计算） 数据采集

转载来自于： Borg/Mesos/Yarn三大主流资源管理与调度系统对比 0. 前言 Mesos（Twitter）、YARN（apache）和Borg(google)三个资源管理与调度系统可以说是目前资源管理和调度系统的先导者，现有的大多数资源管理和调度系统都从这三个系统中吸纳设计思想。对这三个系统的对比总结有助于更好的了解目前资源管理与调度系统的状态和未来的发展趋势。 需要特别说明的是，borg系统所提出的思想直接影响了资源管理和调度系统的发展，例如其提出的在线任务和离线任务混合部署的思路以及资源超售的思路领先行业十余年。直到今天一些业界的系统才开始在混部方面进行探索，而borg早在十多年前就已经提出并在内部系统中进行成熟使用。 对于这三个系统最早出现的应该是borg，其是谷歌内部的资源管理系统，但是一直没有对外公开，直到2015年才发表论文进行说明。接着是Mesos系统，发表于2012年左右，YARN系统发表于2013年，这三个系统无论是在架构设计还是针对的场景、实现思路上都存在较大的差异，下面将针对不同的维度进行阐述。 1. 架构方面 borg架构 Mesos架构 YARN架构 相同之处：三种架构都是基于master/slave架构进行设计的，master主要负责全局的资源分配，slave节点主要负责本节点的各项信息收集、汇报工作。但是具体的实现细节方面还有很大差别。

这里部署环境为 CDH6.2 集群，三个节点，Flink 版本为编译的 Flink1.9.1 版本。 Flink集群有两种部署的模式，分别是 Standalone 以及 YARNCluster 模式。 Standalone 模式 ，Flink 必须依赖于 ZooKeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zookeeper 的帮助下，一个Standalone 的 Flink 集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后（如宕机或 Crash）， ZooKeeper 会从 Standby 中选举新的 JobManager 来接管 Flink 集群。 YARN Cluaster 模式 ，Flink 就要依靠 YARN 本身来对 JobManager 做 HA 了。其实这里完全是 YARN 的机制。对于 YARNCluster 模式来说， JobManager 和 TaskManager 都是启动在 YARN 的 Container中。此时的 JobManager，其实应该称之为 Flink Application Master。也就说它的故障恢复，就完全依靠着 YARN 中的

原先一直使用npm管理js的包，但是npm安装起来实在是太慢了，而且还时不时会完全卡主。 曾经安装过smart npm cnpm 还换源成淘宝的源过，但是都效果不佳，因为公司网的原因，在用淘宝源的同时再用自己手机热点才能把包装上。速度依旧很慢。然后本地包和全局包也因为不熟悉操作的原因搞的乱七八糟。 今天下载TensorFlow js的时候又出现了总是安装失败的问题。就又尝试了一下换源等操作，还是失败。然后官方文档里面有yarn安装的操作，我就准备直接使用yarn安装，结果十分快速的就安装完毕了。一点错都没有报。 这里记录一下yarn的安装等操作。推荐使用yarn代替npm。 参考了 https://blog.csdn.net/Goo_12138/article/details/103756249 1.官网安装yarn https://www.yarnpkg.com/zh-Hans/docs/install#windows-stable （有很多种安装方式，npm安装之类的，我觉得官网下文件最方便，推荐官网下载。） 选择安装位置之后一路next即可 （我是安装在D:\Program Files\Yarn ，怕c盘空间爆满，一般都安装在d盘。） 2.测试是否安装成功 打开powershell输入 yarn -v 显示版本信息就说明成功了。

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. 阿里聚石塔控制台 登录聚石塔账号，进入 控制台>开发运维>服务列表，在服务列表可以查看已创建部署的服务；聚石塔提供一整套完整的运维部署解决方案，列表服务支持停止开启服务，上传部署，编译部署，支持历史版本部署，监控，SSH等。 这里是前后端分离项目，Vue.js 前端项目 + SpringBoot 后端项目，后端项目Maven 管理打 WAR 包，前端项目 Yarn 管理。 2. 后端项目打包部署 2.1 mvn package 打 war 包 2.2 创建服务 Tomcat 选择镜像-服务配置-环境变量-确认创建 选择镜像 此处 SpringBoot 项目打 WAR 包部署在 Tomcat，根据实际项目选择版本，此处选择 Tomcat8.5.38 服务配置 自定义服务标题名称； 绑定已创建应用及 appKey； 选择容器规格，支持自定义规格； 选择要部署在的云服务器，服务器实际部署容器数量设置为 1 个； 环境配置 网络配置设置服务访问域名；这里仅配置了域名，后端项目提供域名，前端项目配置访问后端项目接口的域名为该域名后打包 确认创建 勾选立即启动，创建服务完成 2.3 上传部署 创建服务后，在服务列表可以找到该服务；当服务较多时可以创建分组标签，对服务进行编辑分组。 找到服务，选择上传部署；

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Hadoop生态系统的特点： 源代码开源（免费） 社区活跃、参与者众多 涉及分布式存储和计算的方方面面 已得到企业界验证 Hadoop1.0和2.0： Hadoop概述： 分布式存储系统HDFS（Hadoop Distributed File System） 分布式存储系统 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 资源管理系统YARN（Yet Another Resource Negotiator） 负责集群资源的统一管理和调度 分布式计算框架MapReduce 分布式计算框架 具有易于编程、高容错性和高扩展性等优点 Hadoop2.0层级关系： Hadoop构成 ：HDFS 分布式文件存储 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 HDFS特点 良好的扩展性 高容错性 适合PB级以上海量数据的存储 基本原理 将文件切分成等大的数据块，存储到多台机器上 将数据切分、容错、负载均衡等功能透明化 可将HDFS看成一个容量巨大、具有高容错性的磁盘 应用场景 海量数据的可靠性存储 数据归档 Hadoop构成 ：YARN（资源管理系统） YARN是什么 Hadoop 2.0新增系统 负责集群的资源管理和调度 使得多种计算框架可以运行在一个集群中