scrapy

单爬虫运行 import sys from scrapy.cmdline import execute if __name__ == '__main__': execute(["scrapy","crawl","chouti","--nolog"]) 然后右键运行py文件即可运行名为‘chouti‘的爬虫 同时运行多个爬虫 步骤如下： - 在spiders同级创建任意目录，如：commands- 在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令）- 在settings.py 中添加配置 COMMANDS_MODULE = '项目名称.目录名称'- 在项目目录执行命令：scrapy crawlall 代码如下： 1 from scrapy.commands import ScrapyCommand 2 from scrapy.utils.project import get_project_settings 3 4 class Command(ScrapyCommand): 5 6 requires_project = True 7 8 def syntax(self): 9 return '[options]' 10 11 def short_desc(self): 12 return 'Runs all of the spiders' 13 14 def

写好自己的爬虫项目之后，可以自己定制爬虫运行的命令。 一、单爬虫 在项目的根目录下新建一个py文件，如命名为start.py，写入如下代码： from scrapy.cmdline import execute if __name__ == "__main__": execute(["scrapy", "crawl", "chouti", "--nolog"]) 运行start.py即可。 二、多爬虫运行 1、在spiders的同级目录创建文件夹，如commands； 2、在这个新建的文件夹下创建一个py文件，如命名为crawlall.py，编写代码： from scrapy.commands import ScrapyCommand class Command(ScrapyCommand): requires_project = True def syntax(self): return "[options]" def short_desc(self): return "Run all of the spiders" # 自定义命令描述 def run(self, args, opts): spider_list = self.crawler_process.spiders.list() # 获取爬虫列表 for name in spider_list: # 循环列表

scrapy框架自定制命令 写好自己的爬虫项目之后，可以自己定制爬虫运行的命令。 一、单爬虫 在项目的根目录下新建一个py文件，如命名为start.py，写入如下代码： from scrapy.cmdline import execute if __name__ == "__main__": execute(["scrapy", "crawl", "chouti", "--nolog"]) 运行start.py即可。 二、多爬虫运行 1、在spiders的同级目录创建文件夹，如commands； 2、在这个新建的文件夹下创建一个py文件，如命名为crawlall.py，编写代码： from scrapy.commands import ScrapyCommand class Command(ScrapyCommand): requires_project = True def syntax(self): return "[options]" def short_desc(self): return "Run all of the spiders" # 自定义命令描述 def run(self, args, opts): spider_list = self.crawler_process.spiders.list() # 获取爬虫列表 for name in spider_list

自定制命令 在spiders同级创建任意目录，如：commands 在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令） 1 from scrapy.commands import ScrapyCommand 2 from scrapy.utils.project import get_project_settings 3 4 5 class Command(ScrapyCommand): 6 7 requires_project = True 8 9 def syntax(self): 10 return '[options]' 11 12 def short_desc(self): 13 return 'Runs all of the spiders' 14 15 def run(self, args, opts): 16 spider_list = self.crawler_process.spiders.list() 17 for name in spider_list: 18 self.crawler_process.crawl(name, **opts.__dict__) 19 self.crawler_process.start() crawlall.py 在settings.py 中添加配置 COMMANDS_MODULE = '项目名称

写好自己的爬虫项目之后，可以自己定制爬虫运行的命令。 一、单爬虫 在项目的根目录下新建一个py文件，如命名为start.py，写入如下代码： from scrapy.cmdline import execute if __name__ == "__main__": execute(["scrapy", "crawl", "chouti", "--nolog"]) 运行start.py即可。 二、多爬虫运行 1、在spiders的同级目录创建文件夹，如commands； 2、在这个新建的文件夹下创建一个py文件，如命名为crawlall.py，编写代码： from scrapy.commands import ScrapyCommand class Command(ScrapyCommand): requires_project = True def syntax(self): return "[options]" def short_desc(self): return "Run all of the spiders" # 自定义命令描述 def run(self, args, opts): spider_list = self.crawler_process.spiders.list() # 获取爬虫列表 for name in spider_list: # 循环列表

1.tencentSpider.py # -*- coding: utf-8 -*- import scrapy from Tencent.items import TencentItem #创建爬虫类 class TencentspiderSpider(scrapy.Spider): name = 'tencentSpider'#爬虫名字 allowed_domains = ['tencent.com']#容许爬虫的作用范围 # 定义开始的URL offset = 0 url = 'https://hr.tencent.com/position.php?&start=' #urll='#a' start_urls = [url + str(offset)] # 爬虫开始的URL def parse(self, response): # 继承 item = TencentItem() # 根节点 movies = response.xpath("//tr[@class='odd']|//tr[@class='even']") for each in movies: item['zhiwei']=each.xpath(".//td[@class='l square']/a/text()").extract()[0] item['lianjie'] = each.xpath("./