Deploy

deploy目录下的SparkSubmit类

為{幸葍}努か 提交于 2019-11-30 10:16:09
之前说的各种脚本:spark-submit,spark-class也好,还是launcher工程也好,主要工作是准备各种环境、依赖包、JVM参数等运行环境。实际的提交主要还是Spark Code中的deploy下的SparkSubmit类来负责的。 deploy目录下的SparkSubmit类,前面提到过,主要入口方法是runMain。 我们先看看其他方法吧。 1、prepareSubmitEnvironment 这个方法准备提交的环境和参数。 先判断集群管理方式(cluster manager):yarn、meros、k8s,standalone。部署方式(deploy mode ): client还是cluster。 后面要根据这些信息设置不同的Backend和Wapper类等。 提交模式这一段真不好讲,因为它包含了太多种类的部署环境了,个性化较强,要慢慢看了。 cluster方式只看两种:yarn cluster和standalone cluster。把yarn和standalone两个搞懂了,其他的也就很好理解了。 这个方法返回一个四元组: @return a 4-tuple: * (1) the arguments for the child process, * (2) a list of classpath entries for the child, * (3) a

Spark-submit脚本

十年热恋 提交于 2019-11-30 09:48:32
spark程序的提交是通过spark-submit脚本实现的,我们从它开始一步步解开spark提交集群的步骤。 spark-submit的主要命令行:exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@" 是执行spark-class脚本,并将spark.deploy.SparkSubmit类作为第一个参数。 1、 spark-class 最关键的就是下面这句了: CMD=() while IFS= read -d '' -r ARG; do CMD+=("$ARG") done < <("$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@") exec "${CMD[@]}" 首先循环读取ARG参数,加入到CMD中。然后执行了 "$RUNNER" -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main "$@ 这个是真正执行的第一个spark的类。 该类在launcher模块下,简单的浏览下代码: public static void main(String[] argsArray) throws Exception { ... List

搭建公司私有MAVEN仓库过程

ぐ巨炮叔叔 提交于 2019-11-30 07:04:57
一、下载maven https://maven.apache.org/download.cgi 二、下载nexus 百度网盘地址: https://pan.baidu.com/s/1hr4yG0c 或者:https://sonatype-download.global.ssl.fastly.net/nexus/3/nexus-3.9.0-01-unix.tar.gz 三、安装maven 1.1 将文件解压到D:\apache-maven-3.5.4目录下: 1.2 新建环境变量MAVEN_HOME,赋值D:\apache-maven-3.5.4: 1.3 编辑环境变量Path,追加%MAVEN_HOME%\bin\; 1.4 至此,maven已经完成了安装,我们可以通过DOS命令检查一下我们是否安装成功: 1.5 设置maven环境变量,避免maven内存溢出,MAVEN_OPTS: -Xms128m -Xms512m。 1.6 设置全局settings.xml中的本地仓库地址: D:\Maven\.m2\repository,并执行mvn help:system,生成.m2目录。恢复全局settings.xml中的设置,即全部默认,然后拷贝一份到.m2文件夹下面,来设置用户变量settings.xml。这一步主要是生成一个.m2文件夹,将来用于存放settings.xml,生成

配置PXE安装ESXi主机

佐手、 提交于 2019-11-30 03:46:38
PXE - Preboot eXecution Environment,启前环境。人们常说的PXE安装,就是通过网络为电脑、主机或服务器安装操作,各个操作系统都有这种需求。这样做的好处是:不需要安装光盘,安装的软件通过网络,从PXE服务器下载到需要安装系统的服务器(主机、电脑)上。VMware vSphere的ESXi也有这种需求。一般称为Auto Deploy。 对于vSphere Auto Deploy安装过程的元素有:PXE服务器(一般由vCenter中的ESXi主机充当)、DHCP服务器(软件或另外一台独立的主机)、tftpd、hostfile、安装映像文件(image file)。 过程可以大致归纳为如下几步: 第一步:从现有的ESXi主机上导出一个主机文件host file 第二步:在PXE主机上安装tftp软件,上传安装映像文件,部署软件源(software depot) 第三步:在vCenter某个集群中,为需要安装的主机指定一个container,或者是一个安装的位置,也或者是一个空的、没有安装操作系统的虚拟机 第四步:启动安装地 来源: https://my.oschina.net/u/589241/blog/3108325

Qt程序各个平台打包发布及安装程序大全

夙愿已清 提交于 2019-11-30 02:30:00
本文链接:https://blog.csdn.net/zhengtianzuo06/article/details/78468111 通用: 1.准备图标 图标可以直接使用一般格式的图片制作, 比如jpg, png等 推荐使用Photoshop制作原始图 推荐使用IconWorkshop制作图标, 非常的方便 Windows和Linux的程序图标, 制作ico格式图标 MacOS制作icns格式图标 Android和IOS直接使用Png 2.准备License文件, readme说明等 程序发布: 1.Windows: 准备程序版权版本等信息 Qt中图标及版本信息的设置, 可以参考我之前的发布项目例子 QmlVersionInfo Release编译: 选择项目 选择Release编译 生成好的目录 清除多余的中间文件 qt提供了专门的部署工具, windeployqt: Usage: windeployqt [options] [files] Qt Deploy Tool 5.9.0 The simplest way to use windeployqt is to add the bin directory of your Qt installation (e.g. <QT_DIR\bin>) to the PATH variable and then run:

maven命令package、install、deploy

冷暖自知 提交于 2019-11-29 17:50:05
mvn clean package依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)等7个阶段。 mvn clean install依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)、install等8个阶段。 mvn clean deploy依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)、install、deploy等9个阶段。 package命令完成了项目编译、单元测试、打包功能,但没有把打好的可执行jar包(war包或其它形式的包)布署到本地maven仓库和远程maven私服仓库 install命令完成了项目编译、单元测试、打包功能,同时把打好的可执行jar包(war包或其它形式的包)布署到本地maven仓库,但没有布署到远程maven私服仓库 deploy命令完成了项目编译、单元测试、打包功能,同时把打好的可执行jar包(war包或其它形式的包)布署到本地maven仓库和远程maven私服仓库  来源: oschina 链接: https://my.oschina.net/u/2320053/blog/3000358

使用maven,spring sts,tomcat管理和调试项目

隐身守侯 提交于 2019-11-29 17:49:37
开发环境: jdk7, spring sts3.1, maven 3.0.4, tomcat 7.0.29, window7 64位 1、配置maven (1)、settings.xml 添加 <server> <id>local_tomcat</id> // project pom文件中会使用 <username>admin</username> <password>tomcat_admin</password> </server> (2)、修改 mvnDebug.bat,改成自己使用的调试端口和模式 set MAVEN_DEBUG_OPTS=-Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=8765 2、配置spring sts 配置 jdk jre 配置 maven 使用本地的maven User Settings配置(sts内置了一个maven) 3、maven 创建java web项目 mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DarchetypeArtifactId=maven-archetype-webapp -DgroupId

关于BOS8.2发布7.5之前元数据报错的解决办法

荒凉一梦 提交于 2019-11-29 14:13:56
如果二开项目是基于8.2之前版本开发,元数据复制到新8.2解决方案后,重新发布报错(编译异常,如无法解析类型 com.kingdee.eas.xxxBillInfo。从必需的 .class 文件间接引用了它),需要修改BOS发布配置文件 ,路径 : x:\kingdee\bos\bos82\BOSModular\bim\eclipse\plugins\com.kingdee.bos.bim_6.1.0\configs\ant\deploy.xml 打开xml文件,大概在70行左右,找到 <target name="compile" description="编译">……</target> 修改 classpath ,修改如下: <target name="compile" description="编译"> <javac srcdir="${srctemp}" destdir="${dir.classes}" debug="on" nowarn="on" source="1.5" verbose="false" fork="false" target="1.5" failonerror="true" > <compilerarg value="-J -client -J -Xms100m -J -Xmx100m"/> <compilerarg value="-Xlint

以太坊学习笔记(二)——通过以太坊发行代币

不问归期 提交于 2019-11-29 09:37:50
准备工作 MetaMask : 一款可以在FireFox和Chrome上使用的以太坊钱包插件 Remix : Solidity(以太坊智能合约开发语言)开发神器 以太坊官网ERC20标准合约代码: https://www.ethereum.org/token#minimum-viable-token 提示:如果以上网站打不开,请科学上网 安装MetaMask 1.打开火狐浏览器,输入: https://metamask.io/ ,选择GET FIREFOX ADDON 2.然后添加插件 3.添加成功,会在工具类显示一个狐狸头像的图标 4.选择网络,创建账号 Main Ethereum Network:主网络 Ropsten Test Network:Ropsten测试网络 Kovan Test Network:Kovan测试网络 Rinkeby Test Network:Rinkeby测试网络 Localhost 8545:本地测试网络 Custom RPC:配置更多的私有网络 我们一般都选用Rinkeby Test Network 进行操作。 提示:主网上的操作是需要真实的ETH,我们可以在测试网络里面进行操作。 5.创建钱包账号,当然也可以通过导入钱包账户的方式来创建账户 6.转让ETH或获取免费测试ETH,可以学习这篇文章 《免费获得测试ETH》 的方式获取Rinkeby

这款 IDE 插件再次升级,让「小程序云」的开发部署提速 8 倍

自古美人都是妖i 提交于 2019-11-29 08:59:58
今年3月份,在阿里云北京峰会上,阿里巴巴正式发布了“阿里巴巴小程序繁星计划”,截至当前,已经有成千上万的开发者加入这个计划,使得小程序得到蓬勃发展,然而不可避免的是,这些服务加重了对云端的开发部署、运行运维等能力的依赖。 直播预告:9月11日(周三)晚上8点,中间件小姐姐萝莉音直播,手把手教你玩转插件和小程序云,学习工作两不误!直播间地址点击 这里 ! 为了满足对众多小程序场景的需求,阿里发布了 「小程序云」 ,为开发者提供了“一次开发,全网运行”的能力,支持 Spring Boot、Node.js 等主流开发框架的运行环境,并在一朵云内实现统一的资源管理、数据运营和业务设计,实现一云多端的业务战略。该一站式小程序云服务最大的亮点还在于可以跨BU、跨部门,无缝对接阿里集团各开放平台服务市场以及天猫、淘宝、菜鸟、蚂蚁等阿里集团各BU业务能力。 所谓“工欲善其事,必先利其器”,我们不仅要掌握最新技术,更要善于运用工具来最大化地发挥自己的能力,所以,为了更进一步提升小程序开发者的工作效率和开发体验,阿里云提供了免费的小程序开发插件—— 「Cloud Toolkit」 ,方便开发者在 IntelliJ IDEA 和 Eclipse 等 IDE 平台内,获得一键开发和部署的体验。 本文从以下几点为大家介绍,如何利用插件,让小程序云的开发部署提速 8 倍。 插件核心功能:一键部署 安装免费插件