Deploy

Jenkins指定tag发布到k8s环境 1、Jenkins配置一个Pipeline 工程 首先要安装插件： https://www.cnblogs.com/Dev0ps/p/9125232.html 参数化构建过程 Pipeline选择Pipeline script from SCM 保存之后构建失败会提示找不到Jenkinsfile,我们只需要新建相应的Jenkinsfile文件即可 vim /root/.jenkins/workspace/sscp-xxx_sit@script/Jenkinsfile node (){ //指定Slave标签 stage('Git Checkout') { checkout([$class: 'GitSCM', branches: [[name: '${Tag}']], doGenerateSubmoduleConfigurations: false, extensions: [], submoduleCfg: [], userRemoteConfigs: [[url: 'git@code.aliyun.com:xx/xx.git']]]) } //代码编译 stage('Maven Build') { sh ''' export JAVA_HOME=/usr/local/java /usr/local/maven/bin/mvn clean

Ansible介绍 什么是Ansible？ Ansible是一个开源部署工具 开发语言：Python 特点：SSH协议通信，全平台，无需要编译，模块化部署管理 作用：推送Playbook进行远程节点快速部署 Ansible Python语言编写，无Client，模块化配置管理 Playbook脚本编写规范，易于上手，适合中小规模快速部署 Ansible的优势和应用场景 轻量级无客户端 开源免费，学习成本低，快速上手 使用Playbook作为核心配置架构，统一的脚本格式批量化部署 完善的模块化扩展，支持目前主流的开发场景 强大的稳定性和兼容性 Ansible配合virtualenv安装配置 Ansible的两种安装模式(Centos7) 1.Yum包管理安装 yum -y install ansible 2.Git源代码安装【推荐】 git clone https://github.com/ansible/ansible.git Ansible 2.5 + Python3.6 安装步骤【Centos7】 1.预先安装Python3.6版本 2.安装virtualenv pip install virtualenv 3.创建Ansible账户并安装python3.6版本virtualenv实例 useradd deploy && su - deploy virtualenv -p

1、快速搜索在目录下面的含有关键字的文件 我们采用下面命令 cd directories grep -r 关键字 2、搜索结果 [root@mq-1 ]# grep -r sshkey configs/kubernetes.groovy:def secretVolume = new SecretVolume('/root/.ssh', 'sshkey', '384') templates/deploy_deployment.yaml: - name: host-sshkey templates/deploy_deployment.yaml: - name: host-sshkey 来源： oschina 链接： https://my.oschina.net/u/4312361/blog/4262674

公司里一般都有自己的私服，用于管理封装的工具插件等，Nexus2主要是用于maven/gralde仓库的统一管理，Nexus3则添加了npm插件，可以对npm提供支持，其实用于npm仓库管理的还有一个工具sinopia，可惜的是早已停止更新。 下载安装 在官网下载 Nexus Repository Manager OSS 3.x , 解压至任意位置. 管理员运行cmd, 切换到 nexus-3.15.2-01/bin 目录 nexus.exe /install 进行安装, 成功后会提示 Installed service 'nexus nexus.exe /run 运行服务, 第一次要耐心等待很久 等待启动完毕后, 进入 http://127.0.0.1:8081 , 点击右上角 Sign In 登陆, 默认账号: admin 密码: admin123 如果提示 could not open SCManager 是因为没有使用管理员身份启动cmd 添加npm仓库 点击在左侧菜单Repositories，可以看到仓库类型列表，如下： npm(group)表示分组，npm(hosted)表示本机私有，npm(proxy)表示远程代理。 若registry配置为group(包括hosted和proxy)，首先会从hosted取，若无则从proxy取并缓存，下次则会从缓存取。

前言 之前我们把hexo托管在github，但是毕竟github是国外的，访问速度上还是有点慢，所以想也部署一套在国内的托管平台，之前查资料听说gitcafe,但是听说gitcafe已经被coding收购了，所以就决定部署到coding。 查询了多方资料，终于鼓捣出了本地一次部署，同时更新到github以及coding。 正文 _config.yml配置 想要同时部署到2个平台，就要修改博客根目录下面的_config.yml文件中的deploy如下 根据Hexo官方文档需要修改成下面的形式 deploy: type: git message: [message] repo: github: <repository url>,[branch] gitcafe: <repository url>,[branch] 所以我的是这样： deploy: type: git repo: github: git@github.com:tengj/tengj.github.io.git,master coding: git@git.coding.net:tengj/hexoblob.git,master 这里要注意一下：上面这段代码左边的-号只能有2个(如下图红圈)，如果超过2个一般就是会被认定为填写格式有问题。我是在repo下面两行用tab键缩进就行，之前没注意这里一直报错。

转自: http://autopilotpattern.io/ ,一种不错的应用开发模式 The autopilot pattern automates in code the repetitive and boring operational tasks of an application, including startup, shutdown, scaling, and recovery from anticipated failure conditions for reliability, ease of use, and improved productivity. Why do we need to do this? Who is this for? How do we do it? How does this differ from previous approaches to automation? How does this differ from scheduler-backed container automation? What infrastructure do we need to do this? Example apps using this pattern Why do we need to do this? We need to make the

一、概述 上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图： 二、源码解读 2.1　spark-submit # -z是检查后面变量是否为空（空则真） shell可以在双引号之内引用变量，单引号不可 #这一步作用是检查SPARK_HOME变量是否为空，为空则执行then后面程序 #source命令： source filename作用在当前bash环境下读取并执行filename中的命令 #$0代表shell脚本文件本身的文件名，这里即使spark-submit #dirname用于取得脚本文件所在目录 dirname $0取得当前脚本文件所在目录 #$(命令)表示返回该命令的结果 #故整个if语句的含义是：如果SPARK_HOME变量没有设置值，则执行当前目录下的find-spark-home脚本文件，设置SPARK_HOME值 if [ -z " ${SPARK_HOME} " ]; then source " $(dirname " $ 0 " ) " /find-spark- home fi # disable randomized hash for string in Python 3.3+ export

1.提交应用程序 在提交应用程序的时候，用到 spark-submit 脚本。我们来看下这个脚本： if [ -z " ${SPARK_HOME} " ]; then export SPARK_HOME = " $(cd " `dirname " $0 " ` " /..; pwd) " fi # disable randomized hash for string in Python 3.3 + export PYTHONHASHSEED = 0 exec " ${SPARK_HOME} " /bin/spark- class org.apache.spark.deploy.SparkSubmit " $@ " 可以看出来 spark-class 脚本才是真正的提交程序的，spark-submit 脚本只是在其上封装一层，并传参 org.apache.spark.deploy.SparkSubmit 给它。这样做的目的是分层管理和方便维护的作用。符合计算机中“遇到问题，往上加多一层解决问题的思想(通过加层解决不了问题，唯一的原因就是层次太多，无法再加了)” 下面来看下真正的提交程序脚本 spark-class ： if [ -z " ${SPARK_HOME} " ]; then export SPARK_HOME = " $(cd " `dirname " $0 " ` " /

a.[--master]:表示要连接的集群管理器 　　spark://host:port:连接到指定端口的Spark独立集群上。默认情况下Spark 独立主节点使用7077端口 　　mesos://host:port:连接到指定端口的Mesos 集群上。默认情况下Mesos 主节点监听5050端口 　　yarn :连接到一个YARN 集群。当在YARN上运行时，需要设置环境变量HADOOP_CONF_DIR指向Hadoop 配置目录，以获取集群信息 　　local:运行本地模式，使用单核 　　local[N]:运行本地模式，使用N个核心 　　local[*]:运行本地模式，使用尽可能多的核心 b.[--deploy-mode]:选择driver驱动管理器在“client”和“cluster”运行； 　　在集群管理器上，如果是“client”提交，那么驱动管理器在client运行； 　　如果是“cluster”提交，那么驱动管理器在集群上运行； 　　如：在spark on yarn模式下： 　　　　在slave1节点上执行：{spark-submit --master yarn --deploy-mode client},那么spark-submit守护进程在slave1上 　　　　在slave1节点上执行：{spark-submit --master yarn --deploy

废话不多说，这是官方部署文档，可以打开一起看 https://github.com/esofar/cnblogs-theme-silence/blob/master/docs/deploy.md 写在前面 操作之前请先确保您的博客园账号已正常登陆并且已经成功申请开通了 JS 权限。 下载解压 点击 下载 本主题最新版本源码包，下载完毕后，使用解压工具解压并进入解压后目录 然后打开博客园后台 管理 页面，进行后续操作。 使用样式 打开 ./dist/themes 文件夹，选择一款自己心仪的主题风格代码文件。我这里选择的是默认的蓝色 default.min.css 。 使用 Notepad++ 等文本编辑工具打开您选择的主题样式文件，全选所有代码，然后复制。 进入『 设置 』界面，将复制的代码粘贴到「页面定制CSS代码」文本域中。 点击「保存」按钮，保存上述操作。 注意： 「页面定制CSS代码」上面的博客皮肤选择成 Custom ，其他排版会乱的。 上传脚本 打开 ./dist 文件夹，获取主题的 JS 脚本文件 silence.min.js 。 进入『 文件 』界面，将该文件上传到自己的博客中。上传完成后，点击文件名便可在浏览器地址栏中获取上传文件的外链，类似如下所示： https://blog-static.cnblogs.com/files/benjieqiang/silence