Scrapy在PyCharm里面运行,调试

主宰稳场 提交于 2020-02-13 18:00:54

 

 

首先通过csrapy shell命令创建一个scrapy项目。

 scrapy startproject projectname

会生成如下文件

 

进入spider_405文件夹

 

我们自己写的爬虫项目就放在spiders文件夹里面

 

 items.py是用来保存你爬取的数据的数据结构

 

 

 

在scrapy.cfg同目录下新建一个begin.py文件

 

 

 在begin.py中编辑内容如下,注意红框中是在spiders里面name的值

 

 

 

之后调试程序时,运行begin.py文件即可,调试信息会在run框中打印输出

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!