入门：
下载：pip install scrapy
工程：scrapy startproject 工程名
Spider: scrapy genspider 爬虫名 url (--nolog//可选不显示日志)
简介：
持久化存储：
1 ：终端存储：scrapy crawl -o aaa.text
2 : 管道存储:items对象即穿过来的{}字典，之后存储
3： open_spider()---->链接数据库，close_spider()-->关闭数据库，process_item()--->存储
代理Ip：
1自定义下载中间件
middleware.py---》
class MyProxy(object):
def process_request(self,request,spider):
# 请求ip 更换
request.meta['proxy'] = "http://202.112.51.51:8082"
2 开启下载中间件
DOWNLOADER_MIDDLEWARES = {
'firstBlood.middlewares.MyProxy': 543,
}
日志等级：
1
ERROR：错误
WARNING：警告
INFO：一般信息
DEBUG：调试信息（默认）
指定日志信息等级：
settings:LOG_LEVEL = ‘ERROR’
将日志信息存储到制定文件中：
settings：LOG_FILE = ‘log.txt’
2 二级传参
yield scrapy.Request(url=url,callback=self.secondParse,meta={'item':ite
m})
调用：item = response.meta['item']
请求传参：
方式一：用scrapy.Requests(method='post')
方式二：重写start_request(self)方法(推荐)
class FanyiSpider(scrapy.Spider):
def start_requests(self):
data = {
'kw':'dog'
}
for url in self.start_urls:
# FormRequest发送post请求
yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)
CrawlSpider:
一般多层请求是多少层多少方法，或递归方法--->yield scrapy.Request(url,callback,meta)
特殊请求有多种：
一：初始请求化作请求队列，功能（获取url列表，不断请求，在新页面获取新url列表）
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
class CrawlspiderSpider(CrawlSpider):
name = 'crawlSpider'
start_urls = ['https://www.qiushibaike.com/text']
rules = ( Rule(LinkExtractor(allow=r'/text/page/\d+'), callback='parse_item', follow=True),)
'''
LinkExtractor : 设置提取链接的规则（正则表达式）
allow=(), ： 设置允许提取的url
restrict_xpaths=(), ：根据xpath语法，定位到某一标签下提取链接
restrict_css=(), ：根据css选择器，定位到某一标签下提取链接
deny=(), ： 设置不允许提取的url（优先级比allow高）
allow_domains=(), ： 设置允许提取url的域
deny_domains=(), ：设置不允许提取url的域（优先级比allow_domains高）
unique=True, ：如果出现多个相同的url只会保留一个
strip=True ：默认为True,表示自动去除url首尾的空格
'''
'''
rule
link_extractor, : linkExtractor对象
callback=None, ： 设置回调函数
follow=None, ： 设置是否跟进
process_links=None, ：可以设置回调函数，对所有提取到的url进行拦截
process_request=identity ： 可以设置回调函数，对request对象进行拦截
'''
def parse_item(self, response):
div_list = response.xpath('//div[@id="content‐left"]/div')
for div in div_list:
item = PhpmasterItem()
author = div.xpath('./div/a[2]/h2/text()').extract_first()
item['author'] = str(author).strip()
# print(author)
content = div.xpath('./a[1]/div/span/text()').extract()
content = ''.join(content)
item['content'] = str(content).strip()
yield item
二：下载img时，把img_url传到管道中，管道中下载（请求方入下级）
Spider::yield item[‘img_url’]
Setting::IMAGES_STORE = './images/'
Pip::
from qiubaipic.settings import IMAGES_STORE as images_store
from scrapy.pipelines.images import ImagesPipeline
class QiubaipicPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
img_link = "http:"+item['img_link']
yield scrapy.Request(img_link)
图片分组：
def file_path(self, request, response=None, info=None):
'''完成图片存储路径'''
img_name = request.url.split('/')[-1] # 图片名
file_name = request.meta['file_name'] # 路径
image_guid = file_name + '/' + img_name # 天价世界名画/2560580770.jpg
img_path = IMAGES_STORE + file_name + '/' # ./image/天价世界名画/ 必须存在
if not os.path.exists(img_path):
os.makedirs(img_path)
print(request.url)
return '%s' % (image_guid)
分布式爬虫：
代理IP池和UA池
代理ip中间件：
http_list = []
https_list = []
def process_request(self, request, spider):
h = request.url.split(':')[0]
if h == 'http':
http = 'http://'+random.choice(http_list)
if h == 'https':
http = 'https://'+random.choice(https_list)
request.meta['proxy'] = http
Ua中间件：
user_agent_list = []
def process_request(self, request, spider):
#从列表中随机抽选出一个ua值
ua = random.choice(user_agent_list)
# 4. ua值进行当前拦截到请求的ua的写入操作
request.headers.setdefault('User-Agent',ua)
脚本运行scrapy项目：
项目下新建xxx.py；
from scrapy import cmdline
# 帮助我们直接执行scrapy 命令
cmdline.execute('scrapy crawl logrule --nolog'.split())
来源：oschina
链接：https://my.oschina.net/u/4390999/blog/3419112