yarn

hadoop最新版本安装将问题归总 yarn run v1.22.0 error Couldn't find a package.json file in "C:\\Users\\Lenovo" info Visit https://yarnpkg.com/en/docs/cli/run for documentation about this command. 其实这个错误很明显，就是环境变量与脚本问题；只需要修改脚本start-yarn.cmd即可 修改完成后重新运行start-all.cmd,启动成功如下 执行jps如下 然后节点就可以访问了，hadoop资源管理界面如下，其他访问页面截图已忽略 来源： oschina 链接： https://my.oschina.net/leejayblog/blog/3189116

CentOS-6.7 编译 hadoop-2.6.5 （只需输入红色命令即可） 目录 1、阅读编译文档 .............................................................................................................................1 2、准备编译环境 .............................................................................................................................2 3、安装 gcc .....................................................................................................................................2 4、安装 gcc-c++ ..............................................................................................................................2

一、 问题 Apache官网上提供的hadoop本地库是32位的，如果我们的Linux服务器是64位的话，就会出现问题。 我们在64位服务器执行hadoop命令时，则会报以下错误： WARNutil.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable 原因是hadoop-2.6.0.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时出错，不影响使用。 为了解决上述问题，我们就需要自己编译一个64位的hadoop版本。 二、编译hadoop2.6.1需要的软件 jdk 1.7 gcc 4.4.5 | gcc-c++ maven 3.3.3 protobuf 2.5.0 （google序列化工具） cmake 2.8.12.2 make ant 1.9.6 finbugs(可选择) 注意： finbugs不是编译所必须的软件，可以不下载。 三、编译软件的准备工作 1. jdk的安装 解压 tar -zxvf jdk-7u79-linux-x64.tar.gz 配置环境变量，编辑/etc/profile文件 export JAVA_HOME=/opt/jdk1.7.0_25

Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。 1.操作系统编译环境 yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst 2.安装JDK 下载JDK1.7，注意只能用1.7，否则编译会出错 http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html tar zxvf jdk-7u75-linux-x64.tar.gz -C /app export JAVA_HOME=/app/jdk1.7.0_75 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar PATH=$PATH:$JAVA_HOME/bin 注：在安装protobuf前需要安装C编译器，运行以下命令： yum install autoconfautomake libtool cmake ncurses-devel openssl

CentOS 6.4 64位 源码编译hadoop 2.2.0 搭建环境:Centos 6.4 64bit 1、安装JDK 参考这里 2、安装maven maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip 解压文件后，同样在/etc/profie里配置环境变量 vim /etc/profie export MAVEN_HOME=/opt/maven3.1.1 export PATH=$PATH:$MAVEN_HOME/bin source /etc/profile 验证配置是否成功: mvn -version Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800) Maven home: /opt/maven3.1.1 Java version: 1.7.0_45, vendor: Oracle Corporation Java home: /opt/jdk1.7/jre Default locale: en_US, platform encoding: UTF

相信各位读者们在运行Hadoop时或多或少的都会遇到一些很让人费解的警告，举个栗子： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 大家应该不陌生。之所以会出现这个问题是因为没有使用本地编译的Hadoop二进制文件运行Hadoop，而是使用了官网下载的预编译的Hadoop。虽然运行起来没有什么问题，但是每次启动的时候都显示这一句警告很不爽有木有？ 废话不多说，我们现在开始。 本人是用的 CentOS 6.8 64bit 版本的Linux系统来运行Hadoop集群的。 首先，下载编译所需要的软件包 ： apache-ant-1.9.4-bin.tar.gz findbugs-3.0.0.tar.gz protobuf-2.5.0.tar.gz apache-maven-3.0.5-bin.tar.gz 最后，还有Hadoop得到源码包，如hadoop-2.4.0-src.tar.gz 安装编译所需软件： 解压apache-maven-3.0.5-bin.tar.gz 把Maven的环境变量配到/etc/profile中，随后source /etc/profile使修改生效

A.1 编译 Hadoop A.1.1 搭建环境 第一步 安装并设置 maven 1. 下载 maven 安装包 建议安装 3.0 以上版本（由于 Spark2.0 编译要求 Maven3.3.9 及以上版本），本次安装选择的是 maven3.3.9 的二进制包，下载地址如下： http://mirror.bit.edu.cn/apache/maven/maven-3/ 2. 上传 git 并解压缩 把下载的 maven 安装包上传到 /home/spark/work 目录 , 使用如下命令解压缩并把文件夹移动到 /app/soft 目录下： $cd /home/spark/work $tar -zxf apache-maven-3.3.9-bin.tar.gz $mv maven-3.3.9 /app/soft $ll /app/soft 3. 编译安装 在 /etc/profile 配置文件中加入如下设置： export PATH=/app/soft/maven-3.3.9/bin:$PATH 修改 /etc/profile 配置文件并验证配置是否成功： $source /etc/profile $mvn -version 图 附录 A‑ 1 查看 Maven 是否安装成功 第二步 使用 yum 安装必要软件 以 root 用户使用 yum 安装 svn 、 gcc

概述 spark on yarn是spark集群模式之一，通过resourcemanager进行调度，较之standalone模式，不需要单独启动spark服务。 关于spark 的三种模式，上一篇文章（ saprk zookeeper搭建spark高可用集群 ）中已经讲过，在此不做赘述。 本文操作的前提是已经搭建好hdfs和yarn集群。 环境 主机名 应用 tvm13 spark、Scala tvm14 spark、Scala tvm15 spark、Scala spark on yarn架构 基于Yarn有两种提交模式，一种是基于Yarn的yarn-cluster模式，一种是基于Yarn的yarn-client模式。使用哪种模式可以在spark-submit时通过 --deploy-mode cluster/client 指定。 工作原理 yarn cluster 在RM接受到申请后在集群中选择一个NM分配Container，并在Container中启动ApplicationMaster进程 在ApplicationMaster中初始化SparkContext ApplicationMaster向RM申请到Container后通知NodeManager在获得的Container中启动Executor进程 sparkContext分配Task给Executor

生成离线包指令 mkdir -p /home/yarn-offline-mirror yarn config set yarn-offline-mirror /home/yarn-offline-mirror/npm-packages-offline-cache cd $your_web_project #web项目目录 mv ~/.yarnrc . yarn config set yarn-offline-mirror-pruning true rm -rf node_modules/ yarn install ll /home/yarn-offline-mirror/npm-packages-offline-cache end.. 前言 　　需要在无网环境中利用jenkins去构建项目，故需要利用yarn提供的离线安装包功能 ：Yarn offline， 尤其是在大型项目中，Yarn的主要优点之一是它可以从文件系统中的文件安装node_modules，将其称为“脱机镜像”， 通过互连网来获取依赖，构建系统既不可重复也不可靠，所以我门通过离线yarn tarball cache来解决这个case。 文件准备 package.json { "name": "yarn-offline", "version": "1.0.0", "main": "index.js", "license

java程序使用ssh连接到服务器后，使用spark-submit提交指令后，使用yarn on client模式，客户端执行完成后，进程不退出，导致服务器积存太多的进程，占用服务器资源，网上搜了半天，找到说有个配置可以，--conf spark.yarn.submit.waitAppCompletion=false。但是试验后还是不好使，最后使用大招解决： 在main方法最后加上下面一条语句： System.exit(0); 测试了一下，真的退出了。。。不知道有没有风险，先这么搞下跑一跑，看看有没有问题。 来源： oschina 链接： https://my.oschina.net/u/4170983/blog/3188562