scrapy

run.py配置以下内容，仅仅可以运行单一爬虫，如果想要一次运行多个爬虫 ，就需要换一种方式。 from scrapy import cmdline """ 单一爬虫运行 """ cmdline.execute('scrapy crawl runoob'.split()) 第一步： from scrapy.commands import ScrapyCommand from scrapy.utils.project import get_project_settings """ 运行多个爬虫 """ class Command(ScrapyCommand): requires_project = True def syntax(self): return '[options]' def short_desc(self): return 'Runs all of the spiders' def run(self, args, opts): spider_list = self.crawler_process.spiders.list() for name in spider_list: self.crawler_process.crawl(name, **opts.__dict__) self.crawler_process.start() 第二步setting添加如下代码： #

前戏 os.environ()简介 os.environ()可以获取到当前进程的环境变量，注意，是当前进程。 如果我们在一个程序中设置了环境变量，另一个程序是无法获取设置的那个变量的。 环境变量是以一个字典的形式存在的，可以用字典的方法来取值或者设置值。 os.environ() key字段详解 windows： os.environ['HOMEPATH']:当前用户主目录。 os.environ['TEMP']:临时目录路径。 os.environ[PATHEXT']:可执行文件。 os.environ['SYSTEMROOT']:系统主目录。 os.environ['LOGONSERVER']:机器名。 os.environ['PROMPT']:设置提示符。 linux： os.environ['USER']:当前使用用户。 os.environ['LC_COLLATE']:路径扩展的结果排序时的字母顺序。 os.environ['SHELL']:使用shell的类型。 os.environ['LAN']:使用的语言。 os.environ['SSH_AUTH_SOCK']:ssh的执行路径。 内置的方式 原理 scrapy框架内部已经实现了设置代理的方法，它的原理是从环境变量中取出设置的代理，然后再使用， 所以我们只需要在程序执行前将代理以键值对的方式设置到环境变量中即可。