scrapydweb

Issue in 2014 scrapy/scrapyd/issues/43 Pull request in 2019 scrapy/scrapyd/pull/326 试用 1. 安装： pip install -U git+https: // github.com/my8100/scrapyd.git@add_basic_auth 2. 更新配置文件 scrapyd.conf ，其余配置项详见 官方文档 [scrapyd] username = yourusername password = yourpassword 3. 启动： scrapyd In [1]: import requests In [ 2]: requests.get( ' http://127.0.0.1:6800/ ' ).status_code Out[ 2]: 401 In [ 3]: requests.get( ' http://127.0.0.1:6800/ ' , auth=( ' admin ' , ' admin ' )).status_code Out[ 3]: 401 In [ 4]: requests.get( ' http://127.0.0.1:6800/ ' , auth=( ' yourusername ' , ' yourpassword ' )).status_code

爬虫管理平台以及wordpress本地搭建 学习目标： 各爬虫管理平台了解 scrapydweb gerapy crawlab 各爬虫管理平台的本地搭建 Windows下的wordpress搭建 爬虫管理平台了解: scrapydweb： 用于Scrapyd实施管理的web应用程序，支持Scrapy日志分析和可视化 github地址：https://github.com/my8100/scrapydweb.git gerapy： 基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架 相关的配置在我之前博客地址：https://www.cnblogs.com/xbhog/p/13336651.html 该项目github地址：https://github.com/Gerapy/Gerapy.git crawlab： 基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架. 文档地址：https://docs.crawlab.cn/zh/ GitHub地址：https://github.com/crawlab-team/crawlab.git 注意：前两个框架的搭建基于Scrapyd，如果不知道怎么配置可以看我之前写的博客： https://www.cnblogs.com/xbhog/p