yarn

create-react-app client --typescript 报错信息如下 error @typescript-eslint/eslint-plugin@2.10.0: The engine "node" is incompatible with this module. Expected version "^8.10.0 || ^10.13.0 || >=11.10.1". Got "10.0.0" error Found incompatible module. info Visit https://yarnpkg.com/en/docs/cli/add for documentation about this command. 解决方法是： 设置yarn如下： yarn config set ignore-engines true 来源： CSDN 作者： after you 链接： https://blog.csdn.net/gwdgwd123/article/details/104075536

下载源码 源码下载地址（Source download）： https://hadoop.apache.org/releases.html 这里以 2.9.2 为例，查看源码中的编译说明文件 BUILDING.txt ，截取 windows 部分 Requirements: * Windows System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5.0 * CMake 2.6 or newer * Windows SDK 7.1 or Visual Studio 2010 Professional * Windows SDK 8.1 (if building CPU rate control for the container executor) * zlib headers (if building native code bindings for zlib) * Internet connection for first build (to fetch all Maven and Hadoop dependencies) * Unix command-line tools from GnuWin32: sh, mkdir,

YARN作为资源调度管理组件,对YARN的的优化主要呈现在CPU和内存两方面 1.内存篇 　　在YARN集群中,平衡内存,CPU和磁盘的资源是比较重要的.一般来说,每两个Container使用一块磁盘和一个CPU核可以是使资源得到比较充分的利用 　　对YARN而言的内存可用资源,是指在排除操作系统或其它应用程序占用之外剩下的部分,才是可用资源 　　可以参考如下表格: 每台机器的内存 系统需要的内存 HBASE需要的内存 4G 1G 1G 8GB 2G 1G 16G 2G 2G 24G 4G 4G 48G 6G 8G 64G 8G 8G 72G 8G 8G 96GB 12GB 16GB 128GB 24GB 24GB 255GB 32GB 32GB 512GB 64GB 64GB 　　计算每台机器最多可以拥有多少个Container,可以使用下面的公式: 　　　　containers = min (2*机器CPU核数, 1.8*机器上挂载的磁盘个数, (机器总内存) / MIN_CONTAINER_SIZE) 　　　　说明: MIN_CONTAINER_SIZE是指container最小的容量大小，这需要根据具体情况去设置，可以参考下面的表格 每台机器可用的内存 Container最小值 小于4GB 256MB 4GB到8GB之间 512MB 8GB到24GB之间 1024MB

把CDH搭建起来了，跑其中的例子程序word-count。在控制台界面一直显示map 0% reduce 0% ， 通过web页面查看job的状态一直是run,但是map没有执行。感觉是是资源的分配有问题。接着查看了任务的日志。 2014-07-04 17:30:37,492 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=0 2014-07-04 17:30:37,492 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Reduce slow start threshold not met. completedMapsForReduceSlowstart 2 2014-07-04 17:30:38,496 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Ramping down all scheduled

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。 在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。 内存配置 关于 内存 相关的配置可以参考hortonwork公司的文档 Determine HDP Memory Configuration Settings 来配置你的集群。 YARN以及MAPREDUCE所有可用的内存资源应该要除去系统运行需要的以及其他的hadoop的一些程序，总共保留的内存=系统内存+HBASE内存。 可以参考下面的表格确定应该保留的内存： 每台机子内存 系统需要的内存 HBase需要的内存 4GB 1GB 1GB 8GB 2GB 1GB 16GB 2GB 2GB 24GB 4GB 4GB 48GB 6GB 8GB 64GB 8GB 8GB 72GB 8GB 8GB 96GB 12GB 16GB 128GB 24GB 24GB 255GB 32GB 32GB 512GB

在TARN中，资源管理由RescoueceManager和NodeManager共同完成，其中，Resourcemanager中的调度器负责资源分配，而NodeManager则负责资源的供给和隔离。 ResourceManager将某个Nodemanager上资源分配给任务（这就是所谓的资源调度）后，NodeManager需按照要求为任务提供相应的资源，甚至保证这些资源应具有独占性，为任务运行提供基础保证，这就是所谓的资源隔离。 图解：容器是内存和vcore的抽象概念。容器运行在nm节点 基于以上考虑，YARN允许用户配置每、个节点上可用的物理内存资源，注意，这里是“可用的”，因为一个节点上的内存会被若干个服务共享，比如一部分给YARN，一部分给HDFS，一部分给HBase等，YARN配置的只是自己可以使用的，配置参数如下： （1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192MB，注意，如果你的节点内存资源不够8G，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 上边这两个参数是有关联的，如果 yarn.nodemanager.resource.detect-hardware-capabilities 为true并且yarn.nodemanager.resource.memory

1，jdk安装，配置环境变量 vi /etc/profile 2，ssh免密钥（本机） ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 3，上传hadoop.tar.gz到服务器 解压tar zxvf，mv hadoop-2.6.5 /opt/sxt vi /etc/profile 4，/opt/hadoop-2.6.5/etc/hadoop *hadoop-env.sh JAVA_HOME=/usr/java/jdk1.8.0_141 REFIX/sbin (搭建hdfs集群) fxb1 slaves fxb1 fxb2 fxb3 这个配置文件是datanode所在的节点 分发部署包到其他节点 cd /opt/sxt scp -r hadoop-2.6.5 node02:/opt/sxt/ scp -r hadoop-2.6.5 node03:/opt/sxt/ hdfs namenode -format 初始化namenode start-dfs.sh 开启hdfs集群 （搭建yarn集群） yarn集群中有两个角色： 主节点：Resource Manager 1台 从节点：Node Manager N台 Resource

压缩css、js文件 yarn add optimize-css-assets-webpack-plugin -d npm run build//看效果 ES6转换ES5 yarn add babel-loader @babel/core @babel/preset-env -d 添加： 使用class等报错 终端执行： yarn add @babel/plugin-proposal-class-properties 使用属性装饰器 例如：@log npm install --save-dev babel-plugin-transform-decorators-legacy 来源： CSDN 作者： 迷阵 链接： https://blog.csdn.net/weixin_43047070/article/details/104047473