Deploy

django--中运行scrapy框架

两盒软妹~` 提交于 2020-08-12 05:03:43
1.新建一个django项目, 2.前端展示一个按钮 <form action="/start/" method="POST"> {% csrf_token %} <input type="submit" value="启动爬虫"> </form> 3.在django项目的根目录创建scrapy项目 4.cmd命令行运行:scrapyd 启动服务 5.将scrapy项目部署到当前工程:scrapyd-deploy 爬虫名称 -p 项目名称 6.views.py # 首页 def index(request): return render(request,'index.html',locals()) def start(request): if request.method == 'POST': # 启动爬虫 url = 'http://localhost:6800/schedule.json' data = {'project': 'ABCkg', 'spider': 'abckg'} print(requests.post(url=url, data=data)) return JsonResponse({'result':'ok'}) 7.在本地6800端口点击jobs当前爬虫项目就在运行了。 8.写一个按钮,点击停止scrapy爬虫 def stop(request): if

如何发布自己的项目到中央仓库

谁都会走 提交于 2020-08-12 04:03:45
1 以前在github发开源项目,都因为懒,从来不构建到中央仓库。最近因为其他人要用,联系我。希望可以发到中央仓库。我想,不就是mvn deploy嘛,开搞。一圈弄下来,发现真没那么简单。当中遇到了无数的坑,让我每一次都心里默默念到,发个项目,为何如此痛苦。 现将痛苦的过程详细记录下来。希望可以帮助到其他小伙伴少踩点坑。 首先,你需要到 sonatype 这个站点上去注册一个账号。这个页面长这个样子: 我当时以为我进错地方了,这不是jira吗。好吧。看url还是提issue的地方,这和发布项目有毛的关系... 好吧,点新建,项目选 Community Support - Open Source ,问题类型选 New Project 填就是了。注意的是Group Id这里要填你自己的拥有的域名,比如com.xxxx,没有的话,自己去注册域名去。填好之后就是等待审核。我搜了下,网上小伙伴说要等待3,5天。 3个小时后,我上去再去看,管理员给我回复了: 大致意思就是要你证明这个域名是属于你自己的。有2种方法,加一个txt类型的解析到你的域名里是最快的方法。 我的域名申请在腾讯云。登陆进去。找到域名解析设置。加进去txt类型的解析。主机记录填那个jira ticket名字,记录值是你这个ticket的链接url。 设置完了后,去回复管理员。然后继续等待。 管理员大概很快就回复了我

Asp.NET Core Nginx Ocelot ForwardedHeaders X-Forwarded-For

安稳与你 提交于 2020-08-12 01:18:49
原文: Asp.NET Core Nginx Ocelot ForwardedHeaders X-Forwarded-For ocelot在部署时我使用了nginx作为转发,并配置了https证书,但是发现ocelot不支持Forward host header。 https://ocelot.readthedocs.io/en/latest/introduction/notsupported.html 这时候我就有了个疑问,Forward host header到底时什么含义?于是便有了本文。 nginx等代理服务器在转发时,会使用X-Forwarded-For 请求头。该请求头会记录从请求者ip到层层代理服务器ip的信息。 https://imququ.com/post/x-forwarded-for-header-in-http.html https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/X-Forwarded-For asp.net core 在使用转发服务器后,官方文档说需要使用中间件设置XForwardedFor与XForwardedProto https://docs.microsoft.com/en-us/aspnet/core/fundamentals/servers/kestrel?view

拒做工具人!教你一键快速部署应用到容器镜像仓库

空扰寡人 提交于 2020-08-11 22:18:06
作者 | Cloud Toolkit 近年来,容器技术以迅雷不及掩耳之势迅速蔓延开来,容器技术基于各种场景的尝试与实践更是层出不穷,它的崛起改变了我们创建、发布与运行应用的方式,实现了资源的独立与隔离、相较于传统的虚拟化技术,它更加轻量化。 随着以 Docker 为代表的容器技术在越来越多的业务场景中被应用,越来越多开发者开始习惯将应用打包成标准格式镜像并存放在镜像仓库中以便完成日常部署发布、团队协作等工作。但在真正的生产环境中,我们会产生大量镜像,不管是第三方还是自建,而这些镜像伴随而来的是部署、保存、分发使用等大量繁琐、重复的部署、管控工作。 对于开发者而言,在本地 IDE、镜像仓库、容器等多个产品间来回切换,不仅耗费大量工时与精力,而且繁琐细碎的操作更容易造成一系列失误。 说到底,哪个开发者想做一个天天机械性重复工作的工具人呢?谁不想做点有创造性的工作呢? 面对这样的难题,Cloud Toolkit 给出了答案~ 在 IntelliJ IDEA 安装和配置 Cloud Toolkit 后,只需在配置界面设置部署参数即可实现自动化部署,将应用快速部署到镜像仓库,并借助阿里云提供安全的镜像托管能力,高效管理镜像 。 那么,我们来看看到底如何做,才能实现部署提速 8 倍?首先,先和大家聊一聊搭配免费 IDE 插件即可实现一键部署、持续集成与交付的的容器镜像仓库 ACR。

无需gas即可归集ERC20的PHP开发包【SmartWallet】

只谈情不闲聊 提交于 2020-08-11 19:29:10
SmartWallet开发包适用于平台方高效完成对用户地址上的Ether/ERC20代币的归集工作,无需向用户地址注入Ether即可完成Ether/ERC20代币的归集。官方下载地址: 以太坊智能钱包PHP开发包 。 1、开发包概述 SmartWallet开发包的主要特点如下: 真正的平台型非托管钱包,平台无需管理大量用户地址的密钥并且没有安全性的损失 无需向用户地址注入Ether即可完成以太币/ERC20代币的归集,流程更简单,效率更高 支持在单一交易内完成多个用户地址的归集 SmartWallet运行于PHP 7.1+环境下,主要类以及其关系如下图所示: SmartWallet的主要代码文件清单见官网说明: http://sc.hubwiz.com/codebag/smartwallet-php/ 2、使用示例代码 2.1 部署工厂合约 SmartWallet开发包利用工厂合约SmartWalletFacotry管理用户地址的生成与归集。因此首先需要部署工厂合约。 示例代码 demo/deploy-contracts.php 展示了如何部署SmartWalletFactory合约以及一个用于演示的ERC20代币合约。 执行如下命令运行示例代码: php deploy-contracts.php 运行结果如下: 2.2 生成用户地址 示例代码 demo/generate-user

《好物推荐|下载超过 23w 次的 IDE 插件,让效率飞速提升》

老子叫甜甜 提交于 2020-08-11 17:24:36
简介: 目前 Cloud Toolkit 的下载量已超过 23w 人次,成为了众多开发者的共同选择,到底是什么让 Cloud Toolkit 深受开发者喜爱? 日常开发运维的过程中,我们总是会遇到各样重复性劳动而这些工作占据了我们大量时间。 我们一定都经历过这样的场景: 每一次产品迭代更新,都要一遍遍 「打包-上传-登录服务器-替换-部署-重启」 重复的类似工作; 在本地 IDE、云产品控制台、Git/SVN、Maven/Gradle、镜像仓库、ECS、容器等多个产品间来回切换; 研发过程中,想要找到一些提升效率的代码管理、自动化测试等等工具,需要自己在各种插件市场挨个踩雷,也不知道好不好用,耗时耗力; 日常遇到研发运维问题时,找不到相关社区/社群去帮助解决技术问题,可能一个微不足道的小问题就困扰了我们很久。 在结合对超过 1000 位开发者的需求调研后,我们为了帮助大家打造了这样的 IDE 插件工具-- Cloud Toolkit 去解决上述问题。Cloud Toolkit 作为阿里云发布的免费本地 IDE 插件,希望帮助开发者更高效地开发、测试、诊断并部署应用。而到现在 Cloud Toolkit 的下载量已超过 23w 人次,成为了众多开发者的共同选择,到底是什么让 Cloud Toolkit 深受开发者喜爱? 一键式部署,有效提升部署速度 8 倍以上 支持标准 SSH 协议

Serverless 技术在格灵深瞳的落地实践

早过忘川 提交于 2020-08-11 12:41:43
格灵深瞳是一家全国领先的人工智能物联网科技企业。专注于把先进的人工智能科技转化为具备低成本、大规模部署能力的产品和服务,并深度结合应用场景,为用户提供高性能、 可靠实用的智慧解决方案。目前,在智慧安防、智能零售、智慧银行和新能源领域,为遍布全国和全世界的客户提供包含智能传感器、 智能识别、智能云计算和服务机器人的综合智能解决方案和服务。 随着业务的快速增长,需求迭代、资源投入、运维压力也随之变的越来越紧迫。怎样提升研发效能、保障业务快速上线,怎样提升资源利用效率、降低成本开销,怎样减少运维的压力、又能保障系统的可靠运转,逐渐成为我们的重点诉求。在此基础上,我们开始考虑引入新的技术,并做了一些调研,最终锁定了 Serverless 技术。 Serverless 想必大家或多或少都有接触,也是最近云计算领域非常火的一个技术方向,核心是帮用户屏蔽了底层的资源、提供按需请求、按需使用、按需付费的一种全新服务,像腾讯云的云函数 SCF 和对象存储等都是 Serverless 化的服务。在这里也和大家分享下,我们业务和 Serverless 是如何结合的。 我们考虑使用 Serverless 技术方案是经过一些调研,结合我们自己的业务需求最终决定的,主要有以下几点: 我们服务的客户与场景流量潮汐现象很明显,Serverless 自动弹性伸缩能力可以为我们解决这个问题,比起普通服务器

Cloud Toolkit | 下载超过 23w 次的 IDE 插件,让效率飞速提升

半腔热情 提交于 2020-08-11 11:34:56
日常开发运维的过程中,我们总是会遇到各样重复性劳动而这些工作占据了我们大量时间。 我们一定都经历过这样的场景: 每一次产品迭代更新,都要一遍遍「打包-上传-登录服务器-替换-部署-重启」重复的类似工作; 在本地 IDE、云产品控制台、Git/SVN、Maven/Gradle、镜像仓库、ECS、容器等多个产品间来回切换; 研发过程中,想要找到一些提升效率的代码管理、自动化测试等等工具,需要自己在各种插件市场挨个踩雷,也不知道好不好用,耗时耗力; 日常遇到研发运维问题时,找不到相关社区/社群去帮助解决技术问题,可能一个微不足道的小问题就困扰了我们很久。 在结合对超过 1000 位开发者的需求调研后,我们为了帮助大家打造了这样的 IDE 插件工具-- Cloud Toolkit 去解决上述问题。Cloud Toolkit 作为阿里云发布的免费本地 IDE 插件,希望帮助开发者更高效地开发、测试、诊断并部署应用。而到现在 Cloud Toolkit 的下载量已超过 23w 人次,成为了众多开发者的共同选择,到底是什么让 Cloud Toolkit 深受开发者喜爱? #一键式部署,有效提升部署速度 8 倍以上 支持标准 SSH 协议,无需在一系列运维工具之间切换,只需在图形界面上选择目标服务器,即可实现应用快速部署。一键部署至任意服务器及云端(ECS、EDAS、ACK、ACR、小程序云等)

好物推荐|下载超过 23w 次的 IDE 插件,让效率飞速提升

爷,独闯天下 提交于 2020-08-11 11:32:29
日常开发运维的过程中,我们总是会遇到各样重复性劳动而这些工作占据了我们大量时间。 我们一定都经历过这样的场景: 每一次产品迭代更新,都要一遍遍 「打包-上传-登录服务器-替换-部署-重启」 重复的类似工作; 在本地 IDE、云产品控制台、Git/SVN、Maven/Gradle、镜像仓库、ECS、容器等多个产品间来回切换; 研发过程中,想要找到一些提升效率的代码管理、自动化测试等等工具,需要自己在各种插件市场挨个踩雷,也不知道好不好用,耗时耗力; 日常遇到研发运维问题时,找不到相关社区/社群去帮助解决技术问题,可能一个微不足道的小问题就困扰了我们很久。 在结合对超过 1000 位开发者的需求调研后,我们为了帮助大家打造了这样的 IDE 插件工具-- Cloud Toolkit 去解决上述问题。Cloud Toolkit 作为阿里云发布的免费本地 IDE 插件,希望帮助开发者更高效地开发、测试、诊断并部署应用。而到现在 Cloud Toolkit 的下载量已超过 23w 人次,成为了众多开发者的共同选择,到底是什么让 Cloud Toolkit 深受开发者喜爱? 一键式部署,有效提升部署速度 8 倍以上 支持标准 SSH 协议,无需在一系列运维工具之间切换,只需在图形界面上选择目标服务器,即可实现应用快速部署。一键部署至任意服务器及云端(ECS、EDAS、ACK、ACR、小程序云等)

基于 API 网关 + 云函数 SCF 部署 Serverless 外卖订单系统

╄→гoц情女王★ 提交于 2020-08-11 09:44:05
API 网关结合云函数 SCF 的使用场景非常丰富,本文将介绍如何基于 API 网关+云函数 SCF 快速部署 Serverless 的外卖订单系统。 消息推送使用的典型场景 外卖订单系统架构图 Demo 实战 1. 安装Serverless Framework npm install -g serverless 2. 初始化项目模板 sls init -t websocket-order 3. 查看项目目录 下载到本地后,查看项目目录结构如下: 包含 DB、网关、函数等多个子模块。 db 目录用于创建 PG Serverless 数据库实例 apigateway 用于创建对应的 API : /bill 下单 API,HTTP 类型 /get_shop_info,获取店铺菜单 API /pgws,用于做消息推送的 websocket API 函数列表如下: 消息推送相关函数: 注册函数 ws_register.py, 配置 DB 的环境变量 传输函数 ws_trans.py ,配置 DB 的环境变量以及 apiid= 消息推送API 注销函数 ws_unregister.py ,配置 DB 的环境变量以及 apiid= 消息推送API 下单函数 bill.py , 配置 DB 的环境变量以及 apiid= 消息推送API 拉取店铺信息函数 get_shop_info.py,配置