Deploy

scrapy爬虫, gerapy基于scrapy分布式爬虫的介绍

蓝咒 提交于 2020-04-06 10:40:21
python3.8,scrapy 主要使用pip install 安装,安装python3.8 安装注意事项: 1在安装这些组件是可能需要VS C++ Build Tools(vs2015版以上,直接安装vs2019也可以)需要安装。 2同时还需要安装.net4.6或及其以上。 scrapy--2.0.1 Twisted--20.3.0 gerapy--0.9.2 pywin32--220 python下载:https://www.python.org/downloads/windows/ twisted下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted pywin32下载:https://nchc.dl.sourceforge.net/project/pywin32/pywin32/ python -m venv python_demo 使用python3的venv创建虚拟环境也可以直接使用系统环境 还有virtualenv也可以完成类似功能这里使用系统自带的 cd python_demo scripts/active 激活venv创建的 python_demo虚拟环境 scripts/deactive 退出venv创建的 python_demo虚拟环境 python -m pip install --upgrade pip

【07】Jenkins:流水线(Pipeline)

烈酒焚心 提交于 2020-04-06 08:59:25
写在前面的话 个人认为 Pipeline 在 Jenkins 中算是一个优化性功能,它能够将我们的构建服务的整个过程流程化,这意味着当我们在执行到某一步的时候,可以添加询问,提示我们是否继续运行下一步。当然,这个东西并非我们必须的,在没有 Pipeline 的时候我们依旧能够很好的完成大部分项目的构建。但是 Pipeline 对于传统构建肯定是一个很好的补充,而且当你习惯以后会爱不释手。 关于流水线(Pipline) Jenkins 从 2.0 开始逐渐从一个 CI 工具转变成为 CD 工具,Pipeline 在其中扮演着至关重要的角色。配置由界面选择逐渐脚本化(采用 Groovy 脚本),我们可以将配置连同代码一起存放在代码仓库,实现版本控制。一次编写,到处运行。 在 Pipeline 中有两个主要关键字需要先简单的了解,可能有些地方还能见到 Step 关键字: 1. Stage:阶段,这其实就是我们将任务细分为多个过程。 2. Node:节点,前面提到过,Jenkins 是可以分布式的,Node 标记着具体在 Master 还是 Slave 运行这个构建。 简单上手 可能我们目前并不知道 Groovy 脚本的语法到底是什么样子,但是可以结合下面的例子慢慢的进行了解。 1. 新建 Pipeline 任务: 可以发现 Pipeline 的配置非常简单,简单到你都找不到哪里拉取代码

使用maven-pom进行依赖管理与自动构建

99封情书 提交于 2020-04-06 03:52:33
使用maven-pom进行依赖管理与自动构建 使用maven-pom进行依赖管理与自动构建 一、让我们先了解一下maven 1.maven是优秀的依赖管理工具 2.maven是优秀的构建工具 3.maven是约定大于配置、简单易学的工具 二、pom基本结构 1.概览 2.项目坐标 3.package标签 4.项目间关系 5.dependencies标签 6.dependencyManagement标签 7.Properties标签 三、配置构建任务 1.maven构建的生命周期 2.插件的“构建阶段” 3.build标签 4.profiles标签 5.project标签下的build标签 5.Reporting标签 使用maven-pom进行依赖管理与自动构建 最后编辑于 :pencil: : {docsify-updated} 一、让我们先了解一下maven 1.maven是优秀的依赖管理工具 随着开发生态环境的不断发展,几乎所有的java应用都会使用第三方的类库,尤其是在这个开源的世界里, java应用依赖管理已经很难再由人工完成——依赖管理包括解决依赖传递、版本冲突、依赖臃肿等问题。 maven通过 groupId 、 artifactId 、 version 形成的坐标定位系统能准确的定位每一个构件(artifact), 开发者可以通过在pom文件中列出所依赖的构件的坐标

一个简单的连续调用脚本部署代码的案例

喜你入骨 提交于 2020-04-06 01:03:17
先简单描述一下环境,Jenkins部署在私有云,从git拉取代码并编译后会调用脚本将jar包部署到阿里云的应用服务器。 阿里云应用服务器无公网IP,通过跳板机登录。就产生了连续调用脚本,穿透跳板机部署到阿里云内网的需求。 服务器信息: 主机名称 IP git server 10.150.27.51 jenkins server 10.150.27.52 jump server 1.1.1.1/192.168.2.20 app server1 192.168.2.21 app server1 192.168.2.22 拓扑图如下: 1.部署脚本01-backend-earphone-8888.sh (Jenkins server) 主要实现功能: 将跳板机1.1.1.1上面临时目录/data/deploy/pccode/earphone内容情况 拷贝Jenkins编译生成的jar包文件(earphone-1.08888.jar)至跳板机/data/deploy/pccode/earphone目录 调用跳板机脚本进行部署/data/deploy/script/earphone.sh [root@bobo365 prod]# more backend-earphone-8888.sh #!/bin/bash . /etc/init.d/functions node="1.1.1.1"

运行Maven时报错:No goals have been specified for this build

元气小坏坏 提交于 2020-04-05 18:42:10
错误信息: No goals have been specified for this build. You must specify a valid lifecycle phase or a goal in the format <plugin-prefix>:<goal> or <plugin-group-id>:<plugin-artifact-id>[:<plugin-version>]:<goal>. Available lifecycle phases are: validate, initialize, generate-sources, process-sources, generate-resources, process-resources, compile, process-classes, generate-test-sources, process-test-sources, generate-test-resources, process-test-resources, test-compile, process-test-classes, test, prepare- package , package , pre-integration-test, integration-test, post-integration-test, verify,

如何在Nuxt项目中给pm2配置生产环境和测试环境

不想你离开。 提交于 2020-03-27 11:33:45
3 月,跳不动了?>>> 在 Nuxt.js 项目中,我们有一个全局的环境变量 process.env.NODE_ENV,默认情况下,这个变量的值要么是 production,要么是 development,分别表示生产环境和开发环境。而如果我们使用 pm2 来部署我们的项目,我们需要的环境可能不止这两种,我们还需要测试环境、预生产环境等等。这时候,就需要做一些配置工作才能正常使用,本篇文章就记录一下如何在 Nuxt 项目中给 pm2 配置生产环境和测试环境。 如果要使用 pm2 来部署我们的项目,首先需要在项目根目录中创建一个名为 ecosystem.config.js 的生态系统配置文件,这个文件导出一个对象,这个对象包含两部分:apps 和 deploy。其中 apps 是一个数组,包含我们需要部署的项目信息,一般这个数组只有一个对象,我们在一个生态系统配置文件里只部署一个项目。而 deploy 是一个对象,包含一些项目部署到服务器所需的配置。 module.exports = { apps: [{}, {}], deploy: {} } 假设我们要部署的项目名称为 mydemo,项目总共有三个环境,生产环境 production,测试环境 test,开发环境 development,其中要使用 pm2 部署 production 和 test 两个环境

Maven 发布

自闭症网瘾萝莉.ら 提交于 2020-03-25 09:45:19
3 月,跳不动了?>>> Install mvn install:install-file -DgroupId=org.apache.kafka -DartifactId=kafka_2.10 -Dversion=0.10.0-kafka-2.1.1 -Dfile=D:\lib\kafka_2.10-0.10.0-kafka-2.1.1.jar -Dpackaging=jar -DgeneratePom=true -DpomFile=kafka_2.10-0.10.0-kafka-2.1.1.pom Deploy mvn deploy:deploy-file -DgroupId = com .alibaba -DartifactId = dubbo -Dversion = 2 .8.4 -Dpackaging = jar -Dfile = E :\dubbo\dubbo-2.8.4.jar -Durl = http ://192.168.1.11:8181/repository/maven-releases/thirdparty/ -DrepositoryId = deploymentRepo pom.xml 加载项目内的依赖 < dependency > < groupId > org.apache.kafka </ groupId > < artifactId > kafka

实操教程丨使用Pod安全策略强化K8S安全

孤街浪徒 提交于 2020-03-23 20:56:51
3 月,跳不动了?>>> 本文来自 Rancher Labs 什么是Pod安全策略? Kubernetes Pod安全策略(PSP)是Kubernetes安全版块中极为重要的组件。Pod安全策略是集群级别的资源,用于控制Pod安全相关选项,并且还是一种强化Kubernetes工作负载安全性的机制。Kubernetes平台团队或集群运维人员可以利用它来控制pod的创建以及限制特定的用户、组或应用程序可以使用的功能。 举个简单的例子,使用PSP你可以: 防止特权Pod启动并控制特权升级。 限制Pod可以访问的主机命名空间、网络和文件系统 限制可以运行pod的用户/组。 限制Pod可以访问的Volume 限制其他参数,如运行时配置文件或只读根文件系统 在本文中,我们将向你展示在Rancher中如何通过启用一个简单的Pod安全策略来强化你的Kubernetes安全。 Pod安全策略真的可以增强K8S的安全性吗? 是的,Pod安全策略确实可以增强Kubernetes的安全性。它提供了Kubernetes原生控制机制,可以防止威胁而不影响性能,这与agent必须拦截主机上的每个动作有所区别。 如果你尚未在集群中启用PSP(或执行访问控制之类的等效方法),则Kubernetes用户可能会生成特权集群。这将会被恶意利用,例如提升特权进而突破容器隔离并访问其他Pod/服务。 如果没有限制Pod