Spider类定义如何爬取指定的一个或多个网站，包括是否要跟进网页里的链接和如何提取网页内容中的数据。
爬取的过程是类似以下步骤的循环：
1.通过指定的初始URL初始化Request，并指定回调函数。当Request下载完后，生成Response作为参数传给回调函数。初始的Request是通过start_requests()读取start_urls中的URL来生成的，回调函数为parse()。 2.在回调函数中分析Response的内容，返回Item对象或者Request或包含二者的可迭代容器。返回Request对象经过Scrapy处理，下载相应的内容，并调用设置的回调函数。 3.在回调函数中，可以用选择器（或者Beautiful Soup，lxml这些解析器）来分析网页内容，生成Item。 4.生成的Item可以存入数据库，或存入到文件。
1.Spider类
class scrapy.spiders.Spider：最简单的爬虫类。 方法与属性： name：爬虫名，要唯一。 allowed_domains：允许爬取的域名列表。 start_urls：初始的URL列表。 custom_settings：参数配置字典，必须是类属性，因为参数配置在实例化前被更新。 crawler：此属性是由from_crawler()设置的。 settings：运行此爬虫的设置。 logger：Python的日志记录器，通过爬虫名创建。 from_crawler(crawler, *args, **kwargs)：类方法，用于创建爬虫。crawler是Crawler的实例对象。 start_requests()：当打开爬虫时调用此方法。会用初始URL列表创建Request。只调用一次。 parse(response)：用于处理Response。 log(message[, level, component])：通过封装logger来发送日志消息。 closed(reason)：爬虫关闭时调用此方法。
2.爬虫参数
爬虫可以接受参数来改变它的行为。这些参数一般用来定义初始URL，或者限定爬取网站的部分内容，也可以用来配置其它任何功能。
在运行crawl命令时，通过-a选项来传递参数（键值对）：
scrapy crawl myspider -a category=electronics
然后可以在__init__()初始化函数里获取参数，如：
class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, category=None, *args, **kwargs): # 直接作为一个函数参数 super(MySpider, self).__init__(*args, **kwargs) self.start_urls = ['http://www.example.com/categories/%s' % category]
而默认的__init__()函数会把这些参数定义为爬虫的属性，因此也可以这样用：
class MySpider(scrapy.Spider): name = 'myspider' def start_requests(self): yield scrapy.Request('http://www.example.com/categories/%s' % self.category) # 作为一个属性 3.CrawlSpider
class scrapy.spiders.CrawlSpider：爬取一般网站的常用Spider。定义一些规则来跟进链接的方便机制。 方法和属性： rules：包含一个或多个Rule对象的列表。如多个Rule匹配了相同链接，第一个被使用。 parse_start_url(response)：当start_urls的请求返回时调用此方法。分析最初的返回值并返回Item对象或者Request或包含二者的可迭代容器。
爬取规则（Rule）
class scrapy.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None) 参数： link_extractor：LinkExtractor对象，定义了如何从页面提取链接。 callback：可调用对象或字符串，如果是字符串，Spider中同名的函数被调用。从link_extractor中每次获取到链接时调用。接受的参数为Repsonse，返回Item对象或者Request或包含二者的可迭代容器。编写爬虫规则时，不要使用parse作为回调，因为CrawlSpider使用parse来实现逻辑，如果覆盖了parse，CrawlSpider会运行失败。 cb_kwargs：传递给回调函数的参数字典。 follow：布尔值，从Response提取的链接是否跟进。如果callback为None，follow默认为True，否则默认为False。 process_links：可调用对象或字符串，如果是字符串，Spider中同名的函数被调用。从link_extractor中获取链接列表时调用，主要用来过滤。 process_request：可调用对象或字符串，如果是字符串，Spider中同名的函数被调用。提取到每个Request时调用，返回Request或None，用来过滤Request。
CrawlSpider配合Rule的例子：
import scrapy from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor class MySpider(CrawlSpider): name = 'example.com' allowed_domains = ['example.com'] start_urls = ['http://www.example.com'] rules = ( # 提取匹配 'category.php'，但不匹配'subsection.php'的链接，并跟进链接。 # 没有callback，意味着follow的默认值为True Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))), # 提取匹配'item.php'的链接，并用parse_item这个方法来处理 Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'), ) def parse_item(self, response): # TODO item = scrapy.Item() return item 4.XMLFeedSpider
class scrapy.spiders.XMLFeedSpider：通过迭代各个节点用于分析XML。迭代器可以从iternodes，xml和html中选择。而xml和html要先读取所有DOM，可能有性能问题，一般推荐使用iternodes。而html则能应对错误的XML。 方法和属性： iterator：选用哪种迭代器，iternodes（默认），html，或xml。 itertag：开始迭代的节点名。 namespaces：(prefix, uri)形式的元组组成的列表。定义文档中会被处理的命名空间。register_namespace()被自动调用把prefix和uri生成命名空间。 adapt_response(response)：在分析Response前被调用，可以用来修改内容，返回的也是一个Response。 parse_node(response, selector)：当节点符合itertag时被调用。返回Item对象或者Request或包含二者的可迭代容器。 process_results(response, results)：返回结果（Item或Request）时被调用。用于对结果作最后的处理。返回结果的列表（Item或Request）。
5.CSVFeedSpider
class scrapy.spiders.CSVFeedSpider：与XMLFeedSpider相似，只是遍历的不是节点，而是行。 方法和属性： delimiter：分隔符，默认为逗号。 quotechar：每个字段的特征，默认为双引号。 headers：用来提取字段的行的列表。 parse_row(response, row)：row是一个字典，键为提供的或检测出来的header。可以覆盖adapt_response和process_results来进行前处理和后处理。
6.SitemapSpider
class scrapy.spiders.SitemapSpider：通过Sitemaps来发现爬取的URL。支持嵌套的sitemap，并能从robots.txt中获取sitemap的URL。 方法和属性： sitemap_urls：sitemap的URL列表，也可以是robots.txt。 sitemap_rules：(regex, callback)形式的元组列表。regex是匹配sitemap提供的URL的正则表达式。callback指定匹配后用于处理的函数。 sitemap_follow：用于匹配要跟进的sitemap的正则表达式的列表。默认情况所有sitemap都跟进。 sitemap_alternate_links：当一个URL有可选链接时，是否跟进。 sitemap_filter(entries)：过滤函数，可以覆盖它来基于sitemap入口的属性来选择它们。