yarn

Difference between “spark.yarn.executor.memoryOverhead” and “spark.memory.offHeap.size”

谁说胖子不能爱 提交于 2020-05-27 13:29:42
问题 I am running spark on yarn. I don't understand what is the difference between the following settings spark.yarn.executor.memoryOverhead and spark.memory.offHeap.size . Both seem to be settings for allocating off-heap memory to spark executor. Which one should I use? Also what is the recommended setting for executor offheap memory? Many thanks! 回答1: spark.executor.memoryOverhead is used by resource management like YARN, whereas spark.memory.offHeap.size is used by Spark core (memory manager).

Resource optimization/utilization in EMR for long running job and multiple small running jobs

家住魔仙堡 提交于 2020-05-16 06:04:11
问题 My use-case: We have a long running Spark job. Here after called, LRJ . This job runs once in a week. We have multiple small running jobs that can come at any time. These jobs has high priority than the long running job. To address this, we created YARN queues as below: Created YARN Queues for resource management. Configured Q1 queue for long running job and Q2 queue for small running jobs. Config: Q1 : capacity = 50% and it can go upto 100% capacity on CORE nodes = 50% and maximum 100% Q2 :

Spark configuration priority

强颜欢笑 提交于 2020-05-10 03:33:20
问题 Does there any difference or priority between specifying spark application configuration in the code : SparkConf().setMaster(yarn) and specifying them in command line spark-submit --master yarn 回答1: Yes, the highest priority is given to the configuration in the user's code with the set() function. After that there the flags passed with spark-submit. Properties set directly on the SparkConf take highest precedence, then flags passed to spark-submit or spark-shell, then options in the spark

大数据(七十四)Spark【Spark on Yarn的HA搭建】

梦想的初衷 提交于 2020-05-09 10:11:46
一、前言 我们在第七十节的时候,已经搭建起了Spark On Yarn,现在我们基于此再搭建Spark的HA。 二、步骤 2.1、修改每台服务器的配置文件/home/spark-1.3.1-bin-hadoop2.4/conf/spark-env.sh 新增如下配置: export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181" 注释掉如下配置 export SPARK_MASTER_IP=node1 2.2 启动Hadoop 我们之前已经大见过一个Hadoop的HA集群,现在执行下方步骤将其启动: 1、启动Zookeeper(在每一台服务器上执行下面命令) zkServer.sh start 2、在nameNode上执行start-all.sh,启动Hadoop集群 3、启动完成后我们查看http://node1:50070/和http://node2:50070/,如下说明Hadoop集群启动成功。 2.3 启动Spark 执行下方命令,启动Spark cd /home/spark-1.3.1-bin-hadoop2.4/ ./sbin/start-all.sh 会出现下图日志

Hadoop常出现的问题

纵然是瞬间 提交于 2020-05-09 01:53:09
没有 DataNode、 NameNode 解决方法: 停止所有节点: stop-all.sh ,重新 格式化 : hadoop namenode -format 再启动: start-dfs.sh 、 start-yarn.sh 来源: oschina 链接: https://my.oschina.net/u/4208515/blog/4270904

Hadoop环境搭建--Docker完全分布式部署Hadoop环境(菜鸟采坑吐血整理)

烈酒焚心 提交于 2020-05-08 10:25:47
系统:Centos 7,内核版本3.10 本文介绍如何从0利用Docker搭建Hadoop环境,制作的镜像文件已经分享,也可以直接使用制作好的镜像文件。 一、宿主机准备工作 0、宿主机(Centos7 )安装Java(非必须,这里是为了方便搭建用于调试的伪分布式环境) 1、宿主机安装Docker并启动Docker服务 安装: yum install -y docker 启动: service docker start 二、制作Hadoop镜像 (本文制作的镜像文件已经上传,如果直接使用制作好的镜像,可以忽略本步,直接跳转至步骤三) 1、从官方下载Centos镜像 docker pull centos 下载后查看镜像 docker images 可以看到刚刚拉取的Centos镜像 2、为镜像安装Hadoop 1)启动centos容器 docker run -it centos 2) 容器 内安装java https://www.oracle.com/technetwork/java/javase/downloads/index.html 下载java,根据需要选择合适版本,如果下载历史版本拉到页面底端,这里我安装了java8 /usr下创建java文件夹,并将java安装包在java文件下解压 tar -zxvf jdk-8u192-linux-x64. tar .gz

小程序开发框架:Taro(一)基础篇

左心房为你撑大大i 提交于 2020-05-08 04:12:58
1. Taro简介 2. 环境搭建 3. 项目搭建 4. 编译调试微信小程序 5. Taro项目结构分析 6. Yarn命令详解 7. 解决问题:版本问题 Taro CLI 与本地安装的小程序框架 @tarojs/taro-weapp 版本不一致 1. Taro简介   Taro是一个前端小程序框架,通过这个框架写一套代码,再通过 Taro 的编译工具,就可以将源代码分别编译出可以在不同端(微信/百度/支付宝/字节跳动小程序、H5、React-Native 等)运行的代码,[Taro官网](https://nervjs.github.io/taro/docs/README.html) 2. 环境搭建   Taro的环境搭建要求更新node到最新版本,所以先老老实实的更新node吧   2.1) 先查看下自己的编译环境node的版本号 node -v   随后会显示当前node的版本号,在很多方法中会让你通过npm n模块来更新node(n模块用来管理node),但是你试过之后,你会发现坑真多,最粗暴的方案就是在node官网下载最新msi进行覆盖安装即可,通过如下命令查看本机node的安装位置 where node 随后他会显示出本机node的安装位置,当你下载完最新的msi之后,就在这个位置覆盖安装即可;   2.2) 依次执行如下命令进行Taro环境搭建 npm config

React 项目 工程Node.js 安装备忘

血红的双手。 提交于 2020-05-08 04:01:18
一 .安装: 1.下载node.js windows: https://nodejs.org/dist/v8.5.0/node-v8.5.0-x64.msi Linux:(解压直接运行) https://nodejs.org/dist/v6.11.3/node-v6.11.3-linux-x64.tar.xz 2. 安装cnpm 镜像 http://npm.taobao.org/ 命令: npm install -g cnpm --registry= https://registry.npm.taobao.org 3.安装yarn yarn与npm一样,都是包管理工具,但是下载速度更快,我们一般都是使用yarn 在cmd中运行 cnpm install -g yarn 3.安装依赖类库 命令: cnpm install | 推荐使用yarn install 4.安装webpack打包工具(注:这个过程中缺少什么包都可以cnpm install ) command:cnpm instal webpack -g 5.启动应用 npm start 二.常规目录结构: ├── assets //存放静态图片 ├── components //存放组件目录 │ └── LineChart //画图组件 ├── models //组件之间调用封装模型 ├── routes //路由组件 │ ├

NodeJS之npm、cnpm、npx、yarn

感情迁移 提交于 2020-05-08 04:00:35
一、npm 1,概念   npm 是 Node.js 官方提供的包管理工具,他已经成了 Node.js 包的标准发布平台,用于 Node.js 包的发布、传播、依赖控制。npm 提供了命令行工具,使你可以方便地下载、安装、升级、删除包,也可以让你作为开发者发布并维护包。   npm 之于 Node.js ,就像 Maven之于java,pip 之于 Python, gem 之于 Ruby, pear 之于 PHP 。 2,常用命令 npm install npm@latest -g 自我更新 npm help 查看npm命令列表 npm -l 查看各个命令的简单用法 npm -v 查看npm的版本 npm config list -l 查看npm的配置 npm init -y 初始化项目 npm config set registry http://registry.npm.taobao.org 设置为淘宝镜像源 npm list 列出安装的模块 npm info 查看模块具体信息 npm install/i $module@$version [-global/-g] [--save]/[-S] [--save-dev]/[-D] [-f] 安装包   全局安装会安装到node安装目录的node_modules并且安装的模块命令在系统环境变量中,而本地安装只会安装到本项目的node