yarn

查看 npm 命令 npm help 全局命令参数 -g npm install -g // 安装全局 npm uninstall -g // 卸载全局 全局node包中 i5ting_toc 这个包可以把md文件格式化成一个网页 运行 i5ting_toc -f 文件名.md -0 版本安装 可以指定使用包的哪个版本 npm install 包名@版本号 不带就安装最新版 项目安装 初始化 package.json npm init -y 安装包 安装 package中的配置 npm install 　　安装多个包 npm install 包名1 包名2 包名3 　 生产 / 开发参数 　　 npm i 包名 --save （ -S ） // 用于生产环境的依赖包 ==> dependencies npm i --production // 只会安装 package 中 dependencies 里面的包 npm install 包名 --save-dev（ -D ） // 用于开发环境 ==> devDependencies npm install // 所有包都会安装 查看包信息 npm info 包名 解决被墙问题 设置镜像路径 npm config set registry= 镜像地址(https//registry.npm.taobao.org) 使用 cnpm npm

下面记录下hadoop完全分布式安装的过程，其中hadoop使用的版本是apache下的，不是cdh。 完全分布式示意图 下面在三台节点上安装hadoop完全分布式，其中一个服务器节点上将有多个hadoop相关的节点，最后是压缩到三台的安装效果，正常来说至少13个服务节点。 （1）zookeeper用于管理namenode，用于故障转移主备切换，其中zookeeper通过failoverController进程来进行namenode主备切换。 （2）namenode主备之间通过journalNode来进行通信，进行数据同步。 （3）resourceManager也会有两个，一个挂了另外一个顶上。 （4）datanode上储存数据，MR计算有数据本地化策略，nodeManager一般和datanode在一起。 以上是最后安装的节点分布图，下面开始安装部署。 前置准备 前置准备包括关闭linux防火墙、修改主机名、ip映射、配置jdk和免密登录，可参考 https://www.cnblogs.com/youngchaolin/p/11992600.html ，其中这里使用的主机名分别为hadoop01、hadoop02和hadoop03。ip映射需修改/etc/hosts文件，添加三台ip和节点名的映射关系。以上操作三台都需要准备好，容易出现问题的就是免密登录，下面记录一下。

1.配置spark-env.sh # 配置大哥;在二哥上面,MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop102 # 设置zookeepr,不能换行 SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop101:2181,hadoop102:2181,hadoop103:2181 -Dspark.deploy.zookeeper.dir=/spark" # 告诉Spark,hadoop放到哪里面了,前题是每一个Spark,的服务器上都装有hadoop HADOOP_CONF_DIR=/data/hadoop/hadoop-3.2.1/etc/hadoop/ 配置二哥MASTER_PORT=指的是自己 SPARK_MASTER_HOST=hadoop101 2.配置slaves #配置的小弟 hadoop103 hadoop104 3.启动 启动zookeeper bin/zkServer.sh 启动hadoop sbin/start-all.sh 启动spark sbin/start-all.sh 停止spark sbin/stop-all.sh 注意查看spark的web端的时候

1.Hadoop 　　a.概念：Hadoop是一个由Apache基金会所开发的分布式系统基础架构 　　b.组成：Hadoop = HDFS (文件系统) + Mapreduce (数据处理) 2.安装 　　a.配置Java运行环境 　　b.从官网下载 Hadoop 并解压，地址：http://hadoop.apache.org/releases.html 　　c.下载 winutils 对 windows 进行支持，地址：https://github.com/steveloughran/winutils（支持老版本） 　　　　　　　　　　　　　　　　　　　　　　https://github.com/zyj108/apache-hadoop-3.1.0-winutils（支持Hadoop3.1.2） 　　d.解压 winutils 覆盖到 Hadoop 根目录（主要是覆盖bin目录） 　　e.在 Hadoop 的 etc\hadoop 下，修改如下配置文件 　　　　①修改core-site.xml，配置默认hdfs的访问端口 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9527</value> </property> </configuration> 　　　　②修改hdfs

一、windows 1.安装JDK jdk必须是1.8 2.安装Node.js （1）node版本必须>=10 （2）不要使用cnpm npm config set registry https://registry.npm.taobao.org --global npm config set disturl https://npm.taobao.org/dist --global 3.安装Yarn、React Native 的命令行工具 Yarn 是 Facebook 提供的替代 npm 的工具，可以加速 node 模块的下载。React Native 的命令行工具用于执行创建、初始化、更新项目、运行打包服务（packager）等任务 npm install -g yarn react-native-cli 安装完 yarn 后同理也要设置镜像源： yarn config set registry https://registry.npm.taobao.org --global yarn config set disturl https://npm.taobao.org/dist --global 安装完 yarn 之后就可以用 yarn 代替 npm 了，例如用 yarn 代替 npm install 命令，用 yarn add 某第三方库名 代替 npm install

第一种方式： 打开webStorm， 然后在编辑器里面，输入：npm install webpack-cli -D 也可以使用，yarn 进行安装 yarn add webpack webpack-cli -D ./node_modules/.bin/webpack --version 查看版本号： 第二种使用方式： npx install 进行全局安装 npx install webpack - g 使用脚本: cmd命令行里面： npm run build 来源： CSDN 作者： ZCW_802.11 链接： https://blog.csdn.net/qq_32370913/article/details/103602699

NodeJS NodeJS的基本概念 1.什么是NodeJS NodeJS是一个基于Chrome V8引擎的一个JavaScript运行环境。 NodeJS使用了一个事件驱动，以及非阻塞I/O模式，使其更轻量高效。 NodeJS的npm包是全球最大的包管理网站。 V8引擎 内核：脚本引擎(V8引擎)渲染引擎。 I/O模型 I：input 输入 O：output 输出 npm：包管理器 npm是一个包 npm是一个网站 npm是一个命令 npm install 安装package.json中的依赖 npm install 包名 -g 全局安装 npm install 包名 --save 将依赖安装到生产环境中 npm install 包名 --save-dev 将依赖安装到开发环境中 npm search 包名 查找相关包 npm update 包名 升级依赖 npm remove 包名 删除依赖 yarn包管理器 安装命令：cnpm install yarn -g yarn install 安装package.json中的依赖 yarn add 包名 -g 全局安装 yarn add 包名 将依赖安装到生产环境中 yarn add 包名 --dev 将依赖安装到开发环境中 yarn upgrade 包名 升级依赖 yarn remove 包名 删除依赖 yarn search 包名

hdfs kill 任务 先说结论 hdfs 上的hadoop 任务 直接在终端ctrl+C是不行的 任务一旦提交到集群上 就会继续 运行 所以应该使用 yarn application -kill application_1571706429831_129599 这个命令来kill job 起因 使用hadoop distcp 提交了一个拷贝任务 中途用 ctrl+c 取消了 然后去删除拷贝了一半的结果 结果发现在hdfs上删除了之后 目录仍然存在 后来在任务管理页面上看到仍然有多个distcp任务在运行 说明 是这些distcp任务 在删除目录之后仍然在运行并写入删除后的目录 导致这个目录被重新创建 所以表现为一直删不掉目录。这个可以从目录中最末端的文件hash中看出 有一些新出现的文件说明是 删除后写入的 感觉运维大哥给我找bug 来源： CSDN 作者： 随机??? 链接： https://blog.csdn.net/BUPT_SS4G/article/details/103712746

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. 概要 前面介绍了如何把Drill部署在YARN上，然后通过Drill-on-YARN客户端，你可以启动、停止、调整、清零命令操作Drill。但是在这么命令背后，到底是如何执行的呢，下面会对Drill-on-YARN的源码进行详细的解析，重点解析启动过程，其他命令简单介绍。 说明：下面涉及到的代码，以drill 1.14.0为准，并且为了减少篇幅，进行了删减。 2. Drill-on-YARN start 2.1 drill-on-yarn.sh 通过查看drill-on-yarn.sh脚本，很容易发现最终执行的java类是 CLIENT_CMD="$JAVA $VM_OPTS -cp $CP org.apache.drill.yarn.client.DrillOnYarn ${args[@]}" 。 org.apache.drill.yarn.client.DrillOnYarn 便是启动Drill-on-YARN的入口。我们可以总览一下这个类： public class DrillOnYarn { public static void main(String argv[]) { BasicConfigurator.configure(); ClientContext.init(); run(argv);

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1. 概要 Drill是Apache旗下的一个开源SQL查询引擎，可用于探索大数据。它的设计初衷是为了支持对大数据的高性能分析，同时支持行业标准查询语言ANSI SQL。 在Drill 1.13之前，Drill只支持独立集群部署，部署成功后每个节点上会运行一个名为Dirllbit的守护进程。从1.13版本开始，Drill支持与YARN集成来管理资源。使用YARN后，Drill将成为一个运行在YARN上的长进程。当您启动Drill时，YARN会自动将Drill软件部署到每个节点上，避免了在每个节点上安装Drill的繁琐。除此之外，资源管理也会得到简化，因为YARN对于Drill使用的资源是敏感的。 目前所有YARN发行版都提供了内存和CPU（YARN称为“vcores”）的设置，某些发行版还提供磁盘的设置。对于内存，在把Drill部署在YARN上的时候，你会配置Drill要使用的内存，然告知YARN。此外，Drill将使用所有可用的磁盘和CPU，当然可以启用Linux cgroup来限制Drill对CPU使用的，以到匹配YARN的vcores分配。 为了方便讲解在YARN下部署Drill，先简单介绍YARN的核心概念。 2. YARN核心概念 YARN全称是 Yet Another Resource