Deploy

一、介绍 1、安装省略，因为现在基本上都用大数据集成平台：cdh，hdp等 2、spark-submit脚本是spark提供的一个用于提交任务的脚本，通过它的--master 参数可以很方便的将任务提交到对应的平台去执行，比如yarn、standalone、mesos等。 3、spark-submit会在提交任务时，把集群大部分的配置文件都打包在__spark_conf__.zip中，包括core-site.xml、hdfs-site.xml、yarn-site.xml、mapreduce-site.xml、hbase-site.xml、hive-site.xml等。然后将其和工程依赖的第三方jar（flume、kafka、以及com.apache.org.lang3等）一同发送到spark的资源存放目录下,默认是：/user/root/.sparkStaging/xxxId/。 4、上述的__spark_conf__.zip还包含一个重要的配置文件__spark_conf__.properties，里面包含着spark-submit脚本的启动参数 在main类中SparkConf conf = new SparkConf();时会加载这个配置文件，所以不再需要执行conf.setMaster("yarn"); 如图： 5、有了上面配置文件和jar，就可以很方便的访问 hive

Docker 19.03 推出了一个实验特性：app，这是docker的一个指令，就像 image 、run 、exec 、swarm... 官方文档： https://docs.docker.com/engine/reference/commandline/app/ docker-app 将docker容器编排为一个bundle，命名为 application 应用程序。希望将一组docker容器打包为一个应用程序进行分发。 启用app插件 app 是一个体验特性，默认不会启用，最低版本为 19.03 ，因此首先要确保docker引擎不低于此版本。 编辑 ~/.docker/config.json ，增加： { "experimental": "enabled", "debug": true } 检查： docker ... app* Docker Application (Docker Inc., v0.8.0) builder Manage builds buildx* Build with BuildKit (Docker Inc., v0.3.1-tp-docker) checkpoint Manage checkpoints ... 标记 * 的指令为体验特性指令。 # docker app version Version: v0.8.0 Git commit:

容器技术提供了一种标准化的交付方式，将应用的代码以及代码环境依赖都打包在一起，成为一个与环境无关的交付物，可以被用在软件生命周期的任何阶段，彻底改变了传统的软件交付方式。 甚至可以说，是在容器技术之后，DevOps、CI/CD 等运维关键问题才有了质的飞跃：实现资源的动态创建和销毁，更轻量的容器技术既能保证环境一致性也能进一步提高迭代频率，各种容器平台也能更好地保证应用高可用、自动伸缩、业务连续等等。 今天将跟大家分享支撑双十一的容器镜像仓库 ACR，以及它是如何实现搭配 IDE 插件和 CICD/云原生应用交付链来实现一键部署与持续集成，以下是本文提纲： 什么是 容器镜像仓库 ACR 如何搭配 免费 IDE 插件 实现一键部署 如何运用 CICD/ 云原生应用交付链 实现持续集成与交付 想听软萌音在线讲解？阿里云小姐姐直播，手把手教你，12月5日晚上8点—9点，直播间等你（还有弹幕截屏送礼品！），直播间地址点击链接： https://developer.aliyun.com/special/cloudtoolkitlive 。 容器镜像仓库 ACR 为了更好地支持双十一大规模分发需求，容器镜像服务（Alibaba Cloud Container Registery, ACR）团队提前进行规划及迭代更新，全面提升了大规模分发场景下的性能、可观测性和稳定性。在新的双十一来临前

在研究SpringMVC源码之前得先看看Tomcat的源码（因为WEB应用要工作在容器中）。先构建Tomcat8的源码环境 下载 进入Tomcat官网 https://tomcat.apache.org/download-80.cgi ，选择tomcat8，下载下来是tomcat-8.5.49 导入到Idea中 准备 新建一个tomcat-8.5.49目录，再到其下新建一个deploy(是Tomcat的工作目录：-Dcatalina.home=x:\\*.*\deploy -Dcatalina.base=x:\\*.*\deploy)目录和导入源码目录，最终效果如下 deploy目录下的结构，除了可以复制的，其他目录直接新建 在tomcat-8.5.49目录下新建一个pom.xml 内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

DevExpress Winforms Controls 内置140多个UI控件和库，完美构建流畅、美观且易于使用的应用程序。无论是Office风格的界面，还是分析处理大批量的业务数据，DevExpress WinForms都能轻松胜任。DevExpress广泛应用于ECM企业内容管理、 成本管控、进程监督、生产调度，在企业/政务信息化管理中占据一席重要之地。 【适用范围】：各种桌面、Web应用程序开发，尤其是WinForms应用程序开发。 点击获取DevExpress v19.2完整版试用下载 在日前正式发布的DevExpress v19.2中，DevExpress WinForms Gantt Control已作为社区技术预览（CTP）正式发布！从此版本到将来的v20.1版本，技术团队将改进和扩展此控件，以便您无需编写代码即可提供出色的用户体验！本文将介绍如何利用甘特图控件的CustomDraw事件来模拟与甘特图相关的主要功能。 Custom Draw事件 DevExpress WinForms Gantt控件包含以下Custom Draw事件： CustomDrawTask - 允许您在控件的Diagram区域内手动绘制标准任务、摘要任务和里程碑。 CustomDrawTaskDependency - 使用此事件来自定义任务依赖性（从一个任务栏指向另一个任务栏的箭头）。

上次有人留言说，技术博客是程序员的标配，但据我所知绝大部分技术同学到现在仍然没有自己的技术博客。原因有很多，有的是懒的写，有的是怕写不好，还有的是一直想憋个大招，幻想做到完美再发出来，结果一直胎死腹中。但其实更多程序员是不知道如何去搭建一个博客，其实如今搭建一个个人技术博客非常简单，其中最简单搭建方式莫属使用 GitHub Pages + Jekyll 了，我的博客就是使用这种技术。 GitHub Pages Github Pages 是面向用户、组织和项目开放的公共静态页面搭建托管服务，站点可以被免费托管在 Github 上，你可以选择使用 Github Pages 默认提供的域名 github.io 或者自定义域名来发布站点。Github Pages 支持 自动利用 Jekyll 生成站点，也同样支持纯 HTML 文档，将你的 Jekyll 站点托管在 Github Pages 上是一个不错的选择。 使用 Github Pages 搭建博客有以下几个优点： 完全免费，其中服务器、流量、域名什么的都管，完全零费用搭建一个技术博客 写博客就是提交代码，让写作和编程的体验保持一致 支持绑定自己的域名 提供流行的网页主题模板 缺点也是有的： 不支持动态内容，博客必须都是静态网页，一般会使用 Jekyll 来构建内容。 博客不能被百度索引，因 Github 和百度有过节，所以

前置准备 在Pypi网站生成API token 开始配置travis 在codebase的配置文件.travis.yml中添加相关配置。 deploy: provider: pypi user: __token__ password: secure: <secured-string> skip_existing: true distributions: "sdist bdist_wheel" skip_cleanup: true on: tags: true 从前置准备中获取到了API token，在deploy.password中可以直接粘贴，但是不推荐直接明文配置到yaml文件中。 需要使用travis cli进行加密。 根据需要进行 skip_existing 、 distributions 、 on.tags 配置，而travis deployment pypi时， skip_cleanup: true 是必加项。 Travis for Pypi deployment 安装travis cli 可以直接参考 官方说明安装 使用travis cli encrypt travis encrypt <api-token> --add deploy.password -r <repository-name> --org travis cli会在codebase的.travis

# go mac export GOROOT=/usr/local/opt/go/libexec export GOPATH=$HOME/Documents/go export PATH=$PATH:$GOROOT/bin:$GOPATH/bin go-lang 1.9+ ubuntu export GOROOT=/usr/lib/go export GOPATH=/home/deploy/go export PATH=$PATH:$GOROOT/bin:$GOPATH/bin 来源： oschina 链接： https://my.oschina.net/u/220988/blog/2995158

cat deploy | ACTION=node DISCOVERY=etcd://ip bash -s 来源： https://my.oschina.net/mrpei123/blog/3128266

作者 | 倪超（银时） 阿里云开发者工具产品专家 本文整理自 11 月 7 日社群分享，每月 2 场高质量分享， 点击加入 社群。 导读 ：Cloud Toolkit 是本地 IDE 插件，帮助开发者更高效地开发、测试、诊断并部署应用。通过插件，可以将本地应用一键部署到任意服务器，甚至云端（ECS、EDAS、Kubernetes 和 小程序云 等）；并且还内置了 Arthas 诊断、Dubbo工具、Terminal 终端、文件上传和 MySQL 执行器等工具。 Cloud Toolkit 功能清单 一键部署本地 IDE 内项目到任意远程服务器 一键部署本地 IDE 内项目到阿里云 EDAS、SAE 和 Kubernetes 本地 Docker Image 打包和仓库推送工具 远程服务器实时日志查看 阿里云小程序开发工具 阿里云函数计算开发工具 阿里云 RDS 内置 SQL 执行器 内置 Terminal 终端 文件上传 Apache Dubbo 框架项目模板&代码生成 Java 程序诊断工具 RPC 服务端云联调 知识点 1：提升部署效率 如上图所示，开发者本地编写的应用程序，在图形化界面上进行配置，即可持续便利的部署到任意服务器，或者阿里云的 ECS 服务器上；在 IDEA 或 Eclipse 中完成编码后，无须在 Maven 、Git 以及其他运维脚本和工具的之间切换，借助