yarn

1. 安装包管理工具 npm 或者yarn npm install -g yarn yarn基于node，并且速度更快，能自动缓存你下载过的包，让你在离线、重复下载时不需要通过去网上拉取文件，直接在本地就可以安装你需要的包！并且，yarn分离的各个包的安装过程，合理排队，不产生高频请求，单个包安装失败并不影响其他包的安装，有效的重试机制等. 2. 目前最流行的前端开发工具或者IDE或者编辑器：vscode、sublime、各种Storm！还有Hbuilder（这个是完美支持Vue的特供、还支持特有小程序等N端转化插件，如果需要多端覆盖这个绝对的强大！ 3. VS code 插件 Auto Rename Tag Beautify， 该插件支持js、josn、css、sass和html的代码美化 CSS Peek , 支持css的快速跳转 图标库 Material Icon Theme 对当前流行语言和后缀名进行单独匹配好看又丰富的图标！ view in Browser 静态网页可以支持直接在默认浏览器预览 Quokka.js 支持js文件内的部分代码直接计算并返回计算结果 JavaScript (ES6) code snippets 支持最新的ES6语法，支持很多代码快捷公式 GitLens — Git supercharged 、 Git History Markdown All

　　Yarn是Facebook发布的一款依赖包安装工具。Yarn是一个新的快速安全可信赖的可以替代NPM的依赖管理工具 　　具体使用请查看： 　　　　 https://www.cnblogs.com/xiangsj/p/8083094.html 来源： https://www.cnblogs.com/irobotzz/p/12286723.html

nvm 版本管理工具 https://github.com/coreybutler/nvm-windows/releases nvm-setup nvm install +版本号 加版本 nvm ls 列表所有的node版本 nvm use +版本号 切换版本 nrm 下载源 nrm 切换下载的源 nrm ls 显示所有的源的列表 nrm use 切换源 node 环境 nodejs是一个运行环境，事件驱动 非阻塞式 I/O (async) 两种使用方式 1、交互式 .exit退出交互环境 2、.js文件的形式 node+js文件名 ——dirname 文件路径 在nodejs的世界里一个js文件就是一个模块 1、require 可以引用模块 2、如果文件是index.js可以只引用目录 如果没有index.js，会查找package.json文件里main所指定的文件 3、在scripts里，可以用npm run +键名 运行 如果是start 就用npm start运行 cls表示清屏 操作命令 npm是同步的 npm init -y 初始化 npm install 包名 --save-dev (-D) 开发依赖 npm install jquery --save (-S) 生产以来 npm uninstall 包名 删除包 npm i 根据package

1、Yarn介绍 Apache Hadoop YARN 是 apache Software Foundation Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。YARN的诞生缘于存储于HDFS的数据需要更多的交互模式，不单单是MapReduce模式。Hadoop2.0 的YARN 架构提供了更多的处理框架，比如spark框架，不再强迫使用MapReduce框架。 从hadoop2.0 的架构图可以看出，YARN承担着原本由MapReduce承担的资源管理的功能，同时将这部分的功能打包使得他们可以被新的数据处理引擎使用。这也同时简化了MapReduce的流程，使得MapReduce专注的将数据处理做到最好。使用YARN,可以用共同的资源管理，在Hadoop上跑很多应用程序。目前，很多机构已经开发基于YARN的应用程序。 2、Yarn架构 YARN的架构还是经典的主从（master/slave）结构，如下图所示。大体上看，YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成，ResourceManager为主节点（master），NodeManager为从节点（slave） 在YARN体系结构中，全局ResourceManager作为主守护程序运行，该仲裁程序在各种竞争应用程序之间仲裁可用的群集资源

注：本文是建立在hadoop已经搭建完成的基础上进行的。 Apache Spark是一个 分布式计算框架 ，旨在简化运行于计算机集群上的并行程序的编写。该框架对资源调度，任务的提交、执行和跟踪，节点间的通信以及数据并行处理的内在底层操作都进行了抽象。它提供了一个更高级别的API用于处理分布式数据。从这方面说，它与Apache Hadoop等分布式处理框架类似。但在底层架构上，Spark与它们有所不同。 Spark起源于加利福利亚大学伯克利分校的一个研究项目。学校当时关注分布式机器学习算法的应用情况。因此，Spark从一开始便为应对迭代式应用的高性能需求而设计。在这类应用中，相同的数据会被多次访问。该设计主要靠利用数据集内存缓存以及启动任务时的低延迟和低系统开销来实现高性能。再加上其容错性、灵活的分布式数据结构和强大的函数式编程接口，Spark在各类基于机器学习和迭代分析的大规模数据处理任务上有广泛的应用，这也表明了其实用性。 Spark支持四种运行模式。 本地单机模式：所有Spark进程都运行在同一个Java虚拟机（Java Vitural Machine，JVM）中。 集群单机模式：使用Spark自己内置的任务调度框架。 基于Mesos：Mesos是一个流行的开源集群计算框架。 基于YARN：即Hadoop 2，它是一个与Hadoop关联的集群计算和资源调度框架 。

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍 目标： 架构及生态 spark 与 hadoop 运行流程及特点 常用术语 standalone模式 yarn集群 RDD运行流程 架构及生态： 通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算，其架构示意图如下： Spark Core：包含Spark的基本功能；尤其是定义RDD的API、操作以及这两者上的动作。其他Spark的库都是构建在RDD和Spark Core之上的 Spark SQL：提供通过Apache

转载自： http://blog.csdn.net/swing2008/article/details/60869183 转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求 官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍 目标： 架构及生态 spark 与 hadoop 运行流程及特点 常用术语 standalone模式 yarn集群 RDD运行流程 架构及生态： 通常当需要处理的数据量超过了单机尺度(比如我们的计算机有4GB的内存，而我们需要处理100GB以上的数据)这时我们可以选择spark集群进行计算，有时我们可能需要处理的数据量并不大，但是计算很复杂，需要大量的时间，这时我们也可以选择利用spark集群强大的计算资源，并行化地计算

移动端 移动端 Web 开发 自动轮播效果 HTML 轮播使用的标签是 ul, ul 中的 li 默认是竖起来排列的, 通过 CSS 设置为左浮动将他们横向排列 JS 为了实现左右的循环轮播, 将第 1 张复制到最后, 将原来的最后复制到第 1 个之前, 这样总的轮播是从第 2 个开始的 使用 zepto 库, 使用 setInterval 定时器每个一段时间使用 zepto 的 fx 动画库将 ul 平移(这是 left 属性, 需要先将 ul 的 position 设置为 relative), 最后的回调判断是否是最后一张或者是第一张, 重置索引实现循环轮播 标识的设置 将所有标签的 class 去掉, 在将当前的设置为激活 node 安装与配置 安装 nvm (类似于 pyenv 管理多版本 node) nvm 命令 nvm install node : 安装最新版本的 nodejs nvm install stable : 安装最新稳定的 nodejs nvm ls : 列出当前安装的 nodejs 版本, 加星号为当前正在使用的nodejs版本 nvm use ... : 使用哪个 nodejs 版本 安装 nrm (用于管理 npm 安装的默认源), npm install -g nrm nrm ls : 列出所有可用的源, 其中加了 * 表示当前正在使用的默认源

修复npm -g 全局安装命令失效，好的吧不得不承认，好记性不如烂笔头，我居然会忘记方法哈哈哈 Linux安装nodejs sudo apt install node sudo apt install nodejs 和 sudo apt install npm都被node替换了不用安装 node -v 查看node版本 npm -v 查看版本 npm i -g nrm 安装nrm源选择器 nrm ls 查看源 nrm use taobao 使用淘宝源 npm i -g cnpm 安装cnpm npm i -g yarn 安装yarn,vue和很多东东都喜欢使用yarn，好吧。的确yarn可以更快的编译，具体的优点自己查询吧。使用yarn一定要把代理清空（nrm use taobao使用淘宝源的）不然会很慢。 npm i -g @vue/cli　　或者 yarn global add @vue/cli 安装vue。哈哈，我还是喜欢npm，木有办法懒呀 vue ui 打开vue web端项目管理器，去吧骚年可视化界面。 这才是今天的重点，修复！！！ Node.js通过npm的-g命令可以将包保存在全局，让所有项目共享，但默认情况下，会保存在/usr/lib/node_modules目录下，造成根目录空间不足，实际生产中，需要设置到合适位置下。 查看全局包位置： npm root -g

本文主要分以下章节： 一、Spark专业术语定义 二、 Spark的任务提交机制 一、Spark专业术语定义 1、Application：Spark应用程序 指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作业JOB组成，如下图所示: image 2、Driver：驱动程序 Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常SparkContext代表Driver，如下图所示: image 3、Cluster Manager：资源管理器 指的是在集群上获取资源的外部服务，常用的有：Standalone，Spark原生的资源管理器，由Master负责资源的分配；Haddop Yarn，由Yarn中的ResearchManager负责资源的分配；Messos，由Messos中的Messos Master负责资源管理，如下图所示: image 4