yarn

准备： 先安装node和npm 使用npm安装yarn： npm i yarn -g -i：install -g：全局安装（global）,使用 -g 或 --global yarn -version查看版本，如图说明是java中的yarn,不是js中的yarn 所以yarn add mermaid命令会提示找不到命令。 卸载： npm uninstall yarn -g 来源： CSDN 作者： chushiyunen 链接： https://blog.csdn.net/enthan809882/article/details/103466051

【前言：承接《Spark通识》篇】 Spark集群组件 Spark是典型的Master/Slave架构，集群主要包括以下4个组件： Driver：Spark框架中的驱动器，运行用户编写Application 的main()函数。类比于MapReduce的MRAppmaster Master：主节点，控制整个集群，监控worker。在Yarn模式中为全局资源管理器 Worker：从节点，负责控制计算节点，启动Executor。类比Yarn中的节点资源管理器 Executor：运算任务执行器，运行在worker节点上的一个进程。类似于MapReduce中的MapTask和ReduceTask Spark基本执行流程 以StandAlone运行模式为例： 1.客户端启动应用程序及Driver相关工作，向Master提交任务申请资源 2.Master给Worker分配资源，通知worker启动executor 3.Worker启动Executor，Worker创建ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程，Executor和Driver进行通信（任务分发监听等） 4.ExecutorBackend启动后向Driver的SchedulerBackend注册，SchedulerBackend将任务提交到Executor上运行 5

查看所有正在使用的端口： netstat -ntlp 在hadoop2的HDFS中fs.defaultFS在core-site.xml 中配置，默认端口是8020，但是由于其接收Client连接的RPC端口，所以如果在hdfs-site.xml中配置了RPC端口9000，所以fs.defaultFS端口变为9000 如图查看：netstat -lent | grep 9000 端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenode.backup.address 50105 dfs.namenode.backup.http-address 50090 dfs.namenode.secondary.http-address，如：172.25.39.166:50090 50091 dfs.namenode.secondary.https-address，如：172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs

上一篇说到Spark的yarn client运行模式，它与yarn cluster模式的主要区别就是前者Driver是运行在客户端，后者Driver是运行在yarn集群中。yarn client模式一般用在交互式场景中，比如spark shell, spark sql等程序，但是该模式下运行在客户端的Driver与Yarn集群有大量的网络交互，如果客户端与集群之间的网络不是很好，可能会导致性能问题。因此一般在生产环境中，大部分还是采用yarn cluster模式运行spark程序。 下面具体还是用计算PI的程序来说明，examples中该程序有三个版本，分别采用Scala、Python和Java语言编写。本次用Python程序pi.py做说明。 [url=] [/url] 1 from __future__ import print_function 2 3 import sys 4 from random import random 5 from operator import add 6 7 frompyspark.sql import SparkSession 8 9 10 if __name__ == "__main__":11 """12 Usage: pi [partitions]13 """14 spark = SparkSession\15 .builder\16

如何将内建配置全部暴露？ 使用 create-react-app结合antd搭建的项目中，项目目录没有该项目所有的内建配置， 1.执行yarn run eject 执行该命令后，运行项目yarn start，提示如下错误 解决办法：yarn add react-scripts 然后运行项目后又提示新的错误，如图 为优化打包体积大小我使用使用 Day.js 替换 momentjs ，解决办法：yarn add @babel/helper-create-regexp-features-plugin 运行yarn start 大功告成！ 来源： https://www.cnblogs.com/zjknb/p/12007231.html

I tried to do rolling upgrade from hadoop 2.4.0 to hadoop 2.7.1. As per http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html#dfsadmin_-rollingUpgrade one can rollback to previous release provided the finalise step is not done. I upgraded the setup but didnot finalise the upgrade and tried to rollback HDFS to 2.4.0 I tried the following steps Shutdown all NNs and DNs. Restore the pre-upgrade release in all machines. Start NN1 as Active with the "-rollingUpgrade rollback http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs