scrapy爬虫, gerapy基于scrapy分布式爬虫的介绍
python3.8,scrapy 主要使用pip install 安装,安装python3.8 安装注意事项: 1在安装这些组件是可能需要VS C++ Build Tools(vs2015版以上,直接安装vs2019也可以)需要安装。 2同时还需要安装.net4.6或及其以上。 scrapy--2.0.1 Twisted--20.3.0 gerapy--0.9.2 pywin32--220 python下载:https://www.python.org/downloads/windows/ twisted下载:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted pywin32下载:https://nchc.dl.sourceforge.net/project/pywin32/pywin32/ python -m venv python_demo 使用python3的venv创建虚拟环境也可以直接使用系统环境 还有virtualenv也可以完成类似功能这里使用系统自带的 cd python_demo scripts/active 激活venv创建的 python_demo虚拟环境 scripts/deactive 退出venv创建的 python_demo虚拟环境 python -m pip install --upgrade pip