python快速构建爬虫项目Scrapy，和Scrapy项目结构分析

上一篇 Python学习必备知识，使用conda管理python环境和包(基于Windows)

安装好scrapy,pycharm,conda等等

进入指定环境（激活环境），安装scrapy,可用 conda 或者 pip 命令

1. 指定项目目录

cd D:\Python\scrapy

2. 检查环境(或者自己新建环境，并激活，参照命令)

conda env list

3. 激活环境

activate base

4. 检查当前环境下，有没有scrapy包（重复操作，直到显示有这个包安装成功，即有显示即可）

conda list

我这里是安装好的，具体安装请参照 conda install xxxx 或者 pip install xx(python3版本更适合这个)

5. 开始构建Scrapy项目，命令如下

scrapy startproject projectname 

其中projectname 是你要初始化的项目名称

scrapy genspider projectname_spider https://www.tmall.com/

https://www.tmall.com/,是你要爬取数据的网站

6.将项目导入到Pycharm中，如下结构

错误记录，注意，pip 和 conda 两个命令安装的包，是有依赖冲突的！！

pip install scrapy,这个命令安装的包，并不完美支持python3.7,

conda install scrapy 只python3.6以下版本支持，所以后来我新建了python3.6环境,使用这个命令重新安装的。

下一篇 第一次爬虫记录，使用Scrapy简单爬取CSDN首页上的文章标题

来源：CSDN

作者：Tonels

链接：https://blog.csdn.net/qq_42105629/article/details/96604661